JP2010068398A - Content distribution device and content distribution system - Google Patents
Content distribution device and content distribution system Download PDFInfo
- Publication number
- JP2010068398A JP2010068398A JP2008234631A JP2008234631A JP2010068398A JP 2010068398 A JP2010068398 A JP 2010068398A JP 2008234631 A JP2008234631 A JP 2008234631A JP 2008234631 A JP2008234631 A JP 2008234631A JP 2010068398 A JP2010068398 A JP 2010068398A
- Authority
- JP
- Japan
- Prior art keywords
- content
- data
- digital watermark
- content distribution
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009826 distribution Methods 0.000 title claims abstract description 145
- 238000003780 insertion Methods 0.000 claims description 56
- 230000037431 insertion Effects 0.000 claims description 56
- 238000004891 communication Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 abstract description 80
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract 1
- 238000000034 method Methods 0.000 description 48
- 230000008569 process Effects 0.000 description 25
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、映像や音声等のデジタルデータに特定の情報を埋め込んで配信するコンテンツ配信装置およびコンテンツ配信システムに関するものである。 The present invention relates to a content distribution apparatus and a content distribution system for distributing specific information embedded in digital data such as video and audio.
近年、映画などの映像コンテンツをインターネット上で配信するネットワークサービスが盛んになってきている。
前記した映像コンテンツは、著作権などの保護を目的に、違法に配信されること（流出）を回避するために暗号化等によるプロテクションがなされており、正当な権利者以外は映像コンテンツを鑑賞することができないようになっているのが一般的である。しかしながら、プロテクションが解除された映像コンテンツが違法に配信されている（流出している）現実もある。
In recent years, network services for distributing video content such as movies on the Internet have become popular.
The above-mentioned video content is protected by encryption to prevent illegal distribution (outflow) for the purpose of protecting copyrights, etc., and other than right holders can view the video content. In general, it is impossible to do this. However, there is a reality in which video content for which protection is canceled is illegally distributed (outflowed).
一方、配信元に固有の番号を映像コンテンツに埋め込み、流出経路を特定しようとする試みもなされている。この番号を埋め込む方法は、例えば、電子透かしを用いる方法が代表的である。具体的には、映像コンテンツに番号などの特定情報を埋め込んでから配信する。その後、流出した映像コンテンツを取得し、映像コンテンツに埋め込まれた番号を読み込むことにより、どの時点で誰に配信した映像コンテンツであるかを特定するものである（例えば、特許文献１参照）。
前記した特定の情報を埋め込む方法については従来から様々な技術が開発されており、目に見える形のものから見えないものまで知られている。また、コピーの他、レタッチや変形、拡大縮小、フィルタ処理等の編集を加えてもオリジナルデータを失うことのない耐性の高い埋込み方法も知られている。しかし、一般的に、耐性の高い電子透かしを埋め込もうとした場合、そのための処理に時間を要する傾向がある。 Various techniques have been conventionally developed for embedding the specific information described above, and those that are visible to those that are not visible are known. In addition to copying, there is also known a highly durable embedding method in which original data is not lost even when editing such as retouching, deformation, enlargement / reduction, and filter processing is applied. However, in general, when an attempt is made to embed a highly resistant digital watermark, there is a tendency that processing for that purpose takes time.
ところで、ある程度耐性の高い電子透かしを実時間（リアルタイム）で埋め込みながら映像コンテンツを配信する場合、１サーバ当りの同時配信数は数本程度であり、サーバの処理負荷が非常に大きい。このため、サーバの同時配信数を増やそうとした場合、耐性を低くした電子透かしを埋め込む方法が一般的である。したがって、多数の会員がユーザ登録をし、配信数の多いコンテンツ配信サイトでは大規模サーバを多数必要とするため採算がとれず、その解決策の出現が期待されている。 By the way, when video content is distributed while embedding a digital watermark with a certain degree of tolerance in real time (real time), the number of simultaneous distributions per server is about several, and the processing load on the server is very large. For this reason, when trying to increase the number of simultaneous distributions of the server, a method of embedding a digital watermark with reduced durability is common. Accordingly, a large number of members register as users, and a content distribution site with a large number of distributions requires a large number of large-scale servers, so it is not profitable and a solution is expected to appear.
本発明は前記した課題を解決するためになされたものであり、耐性を低くすることなくコンテンツに電子透かしを埋め込む際の処理負荷を低減したコンテンツ配信装置およびコンテンツ配信システムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a content distribution apparatus and a content distribution system that reduce a processing load when embedding a digital watermark in content without reducing durability. To do.
前記した課題を解決するために本発明のコンテンツ配信装置は、複数のコンテンツに共通に含まれる特殊データに、電子透かし情報が埋め込まれた電子透かし入りデータを作成する電子透かし入りデータ作成手段と、コンテンツに含まれるデータと前記特殊データとの照合判定を行い、一致に相当すると判定された一致データがある場合、前記一致データの位置情報を記録するとともに、前記コンテンツから前記一致データを削除して編集コンテンツを作成するコンテンツ編集手段と、前記記録された一致データの情報に基づき、前記編集コンテンツに、前記削除したデータの代わりに前記電子透かし入りデータを挿入して、電子透かし入りコンテンツを作成し配信するコンテンツ配信手段と、を備えたものである。 In order to solve the above-described problem, the content distribution apparatus of the present invention includes digital watermarked data creating means for creating digital watermarked data in which digital watermark information is embedded in special data that is commonly included in a plurality of contents, When the data included in the content is compared with the special data, and there is matching data determined to correspond to the matching, the position information of the matching data is recorded, and the matching data is deleted from the content. Based on information of the recorded matching data, content editing means for creating edited content and inserting the watermarked data in place of the deleted data into the edited content to create the watermarked content Content distribution means for distribution.
また、本発明のコンテンツ配信システムは、複数のコンテンツに共通に含まれる特殊データに電子透かし情報が埋め込まれた電子透かし入りデータを作成しておき、コンテンツに含まれるデータと前記特殊データとの照合判定を行い、一致に相当すると判定された一致データの位置情報を記録するとともに、前記コンテンツから前記一致データを削除して編集コンテンツを作成し、前記一致データの位置情報に基づき、前記編集コンテンツに、前記削除したデータの代わりに前記電子透かし入りデータを挿入して、電子透かし入りコンテンツを作成し配信するコンテンツ配信装置と、前記コンテンツ配信装置とは通信網を介して接続され、前記コンテンツ配信装置から前記電子透かし入りコンテンツを受信して再生するコンテンツ再生装置と、を備えたものである。 In addition, the content distribution system of the present invention creates digital watermarked data in which digital watermark information is embedded in special data commonly included in a plurality of contents, and collates the data contained in the content with the special data Making a determination and recording the position information of the match data determined to correspond to the match, deleting the match data from the content to create an edit content, and creating the edit content based on the position information of the match data A content distribution device for creating and distributing digital watermarked content by inserting the digital watermarked data instead of the deleted data, and the content distribution device connected via a communication network, the content distribution device A content playback apparatus for receiving and playing back the digital watermarked content from It is those with a.
本発明によれば、耐性を低くすることなく映像コンテンツに電子透かしを埋め込む際の処理負荷を低減したコンテンツ配信装置およびコンテンツ配信システムを提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the content delivery apparatus and content delivery system which reduced the processing load at the time of embedding a digital watermark in a video content, without reducing tolerance can be provided.
（第１の実施形態）
図１は、本発明の第１の実施形態に係るコンテンツ配信システムのシステム構成の一例を示すブロック図である。
図１に示されるように、第１の実施形態に係るコンテンツ配信システムは、コンテンツ配信装置１と、コンテンツ配信装置１とはＩＰ（Internet Protocol）ネットワーク等の通信網３を介して接続されるコンテンツ再生装置２と、を備える。
(First embodiment)
FIG. 1 is a block diagram showing an example of the system configuration of the content distribution system according to the first embodiment of the present invention.
As shown in FIG. 1, the content distribution system according to the first embodiment includes a content distribution device 1 and content connected to the content distribution device 1 via a communication network 3 such as an IP (Internet Protocol) network. A playback device 2.
ここでは、コンテンツ配信システムが配信するメディアとして映像コンテンツを配信する映像コンテンツ配信システムを例示して説明する。
コンテンツ配信装置１は、後記するように、ユーザに固有の電子透かし情報が埋め込まれた電子透かし映像データを予め作成しておき、映像コンテンツに電子透かし映像データを挿入し配信する機能を有する。
Here, a video content distribution system that distributes video content as media distributed by the content distribution system will be described as an example.
As will be described later, the content distribution apparatus 1 has a function of creating digital watermark video data in which digital watermark information unique to a user is embedded in advance, inserting the digital watermark video data into video content, and distributing it.
コンテンツ再生装置２は、コンテンツ取得要求をコンテンツ配信装置１に発行し、コンテンツ配信装置１から配信される電子透かし入り映像コンテンツを通信網３を介して受信する。コンテンツ再生装置２は、電子透かし入り映像コンテンツを、例えば、Ｗｉｎｄｏｗｓ（登録商標）メディアプレーヤ等のストリーミング映像再生ソフトウェアにより再生する機能を有する、Ｗｅｂ（World Wide Web）接続環境を備えたＰＣ（Personal Computer）、あるいは携帯電話相当のハードウェアを有するユーザ端末である。 The content reproduction device 2 issues a content acquisition request to the content distribution device 1 and receives the video content with digital watermark distributed from the content distribution device 1 via the communication network 3. The content playback apparatus 2 is a PC (Personal Computer) equipped with a Web (World Wide Web) connection environment having a function of playing back video content with a digital watermark using, for example, streaming video playback software such as Windows (registered trademark) media player. Or a user terminal having hardware equivalent to a mobile phone.
図２は、第１の実施形態に係るコンテンツ配信システムにより配信される電子透かし映像コンテンツが作成されるまでの過程を示す図である。
以下、図２を参照しながら、図１に示すコンテンツ配信装置１の基本動作について概略説明する。
FIG. 2 is a diagram illustrating a process until digital watermark video content distributed by the content distribution system according to the first embodiment is created.
Hereinafter, the basic operation of the content distribution apparatus 1 shown in FIG. 1 will be schematically described with reference to FIG.
図２において、コンテンツ配信装置１は、まず、電子透かし情報が埋め込まれた電子透かし映像データを作成する（図２（１））。
ここでは、コンテンツ配信装置１は、図２（１）に示すように、電子透かし情報の埋込み対象とする特定の映像データ（１１ｗ１，１１ｂ１）に対して、ユーザに固有の、例えば、外部から取得した会員番号等のユーザ情報を電子透かし情報として埋め込み、電子透かし映像データ（１１ｗ２，１１ｂ２）を作成する。
ここで、電子透かし情報の埋込み対象とする特定の映像データは、例えば、複数の映像コンテンツで共通に使用される、シーン切替え時におけるホワイトアウト（１１ｗ１，１１ｗ２）やブラックアウト（１１ｂ１，１１ｂ２）に代表される映像データ（特殊映像データ）とする。ホワイトアウトとは映像コンテンツを再生時に０．５秒程度で画面一面が徐々に白くなるシーンであり、反対に画面一面が徐々に黒くなるシーンをブラックアウトという。他に、例えば、湘南の海面のシーンから徐々にグアムの海面のシーンに切り替わるような映像データでも良い。
ここで、図２に示す白と黒の濃淡は、特殊映像データであるホワイトアウトとブラックアウトを便宜的に示すものであり、映像コンテンツの明度や濃淡を示すものではない。
In FIG. 2, the content distribution apparatus 1 first creates digital watermark video data in which digital watermark information is embedded (FIG. 2 (1)).
Here, the content distribution apparatus 1, as shown in FIG. 2 (1), for the particular video data to embedding object of electronic watermark information (11 w 1, 11b 1), unique to the user, for example, an external The user information such as the membership number obtained from the above is embedded as digital watermark information to create digital watermark video data (11w 2 , 11b 2 ).
Here, the specific image data to embedding object of electronic watermark information, for example, are common to a plurality of video contents, whiteout during switching scenes (11w 1, 11w 2) or blackout (11b 1, 11b 2 ) as video data (special video data). Whiteout is a scene in which the entire screen gradually becomes white in about 0.5 seconds during playback of video content, and on the contrary, a scene in which the entire screen gradually becomes black is called blackout. In addition, for example, video data that gradually switches from a scene in the sea of Shonan to a scene in the sea of Guam may be used.
Here, the shades of white and black shown in FIG. 2 indicate whiteout and blackout, which are special video data, for convenience, and do not indicate the brightness or shade of the video content.
次に、コンテンツ配信装置１は、コンテンツ作成端末（不図示）により作成される、あるいはコンテンツ配信装置１が備えるデータベース（不図示）に蓄積された、例えば、１２０分程度の映画等、配信すべき映像コンテンツ１０ａ（図２（２））と、特殊映像データ（１１ｗ１，１１ｂ１）とのパターン照合を行う。照合した結果、一致した映像データがある場合、コンテンツ配信装置１は、一致した映像データの位置情報（挿入位置情報）、例えば配信順番を記憶するとともに、映像コンテンツ１０ａから一致した映像データが削除された映像コンテンツ（編集映像コンテンツ１４ａ）を作成する（図２（３））。ここで、図２（３）のＮａ，Ｎｂ，Ｎｃは配信順番を示し、挿入位置情報に該当する。
つまり、照合した結果、図２（２）に示す映像コンテンツ１０ａが、配信順番Ｎａで特殊映像データ１１ｗ１と一致し、配信順番Ｎｂで特殊映像データ１１ｗ１と一致し、配信順番Ｎｃで特殊映像データ１１ｂ１と一致したため、映像コンテンツ１０ａから一致した映像データが削除される。これにより、図２（３）に示す編集映像コンテンツ１４ａが作成される。
Next, the content distribution apparatus 1 should distribute a movie created by a content creation terminal (not shown) or stored in a database (not shown) included in the content distribution apparatus 1, for example, about 120 minutes. Pattern matching is performed between the video content 10a (FIG. 2 (2)) and the special video data (11w 1 , 11b 1 ). If there is matching video data as a result of the collation, the content distribution device 1 stores the position information (insertion position information) of the matched video data, for example, the distribution order, and the matched video data is deleted from the video content 10a. The created video content (edited video content 14a) is created (FIG. 2 (3)). Here, Na, Nb, and Nc in FIG. 2 (3) indicate the distribution order and correspond to the insertion position information.
That is, collated result, video content 10a shown in FIG. 2 (2) is delivered sequentially Na in match the special picture data 11 w 1, consistent with the special video data 11 w 1 in delivery order Nb, special video in delivery order Nc since consistent with data 11b 1, video data that match the video content 10a is deleted. Thereby, the edited video content 14a shown in FIG. 2 (3) is created.
続いて、コンテンツ配信装置１は、編集映像コンテンツ１４ａの挿入位置情報（Ｎａ，Ｎｂ，Ｎｃ）に基づき、編集映像コンテンツ１４ａに、事前に作成済みの電子透かし映像データ（図２（１）の１１ｗ２，１１ｂ２）を挿入した電子透かし映像コンテンツ１６ａを作成し（図２（４））配信する。
ここで、コンテンツ配信装置１は、取得した編集映像コンテンツ１４ａの挿入位置情報の有無を判定し、挿入位置がある場合は電子透かし映像データを該当位置に挿入した電子透かし映像コンテンツ１６ａを配信する。挿入位置がない場合は、コンテンツ配信装置１は、取得した編集映像コンテンツは映像コンテンツ１０ａであり、そのまま映像コンテンツ１０ａを配信する。
そして、コンテンツ配信装置１により配信された電子透かし映像コンテンツ１６ａは、通信網３を介して、コンテンツ再生装置２に受信され再生される。
Subsequently, the content distribution apparatus 1 adds digital watermark video data (11w in FIG. 2 (1)) created in advance to the edited video content 14a based on the insertion position information (Na, Nb, Nc) of the edited video content 14a. 2 , 11b 2 ) is inserted (FIG. 2 (4)) and distributed.
Here, the content distribution apparatus 1 determines the presence / absence of the insertion position information of the acquired edited video content 14a. If there is an insertion position, the content distribution device 1 distributes the digital watermark video content 16a in which the digital watermark video data is inserted at the corresponding position. When there is no insertion position, the content distribution apparatus 1 distributes the video content 10a as it is because the acquired edited video content is the video content 10a.
Then, the digital watermark video content 16 a distributed by the content distribution device 1 is received and reproduced by the content reproduction device 2 via the communication network 3.
※請求項８を参照して再作成すること
前記したように、第１の実施形態に係るコンテンツ配信システムは、例えば、図１、図２に示されるように、複数のコンテンツに共通に含まれる特殊データ（特殊映像データ１１ｗ１，１１ｂ１：図２）に電子透かし情報が埋め込まれた電子透かし入りデータ（１１ｗ２，１１ｂ２：図２）を作成しておき、コンテンツ（映像コンテンツ１０ａ：図２）に含まれるデータと前記特殊データとの照合判定を行い、一致に相当すると判定された一致データの位置情報（Ｎａ，Ｎｂ，Ｎｃ：図２）を記録するとともに、前記コンテンツから前記一致データを削除して編集コンテンツ（編集映像コンテンツ１４ａ：図２）を作成し、前記一致データの位置情報に基づき、前記編集コンテンツに、前記削除したデータの代わりに前記電子透かし入りデータを挿入して、電子透かし入りコンテンツ（電子透かし映像コンテンツ１６ａ：図２）を作成し配信するコンテンツ配信装置１と、前記コンテンツ配信装置とは通信網３を介して接続され、前記コンテンツ配信装置から前記電子透かし入りコンテンツを受信して再生するコンテンツ再生装置２と、を備えたものである。
* Re-creation with reference to claim 8 As described above, the content distribution system according to the first embodiment is commonly included in a plurality of contents as shown in FIGS. 1 and 2, for example. special data (special video data 11 w 1, 11b 1: 2) watermarked data in which the electronic watermark information has been embedded in (11 w 2, 11b 2: 2) in advance to create a content (video content 10a: FIG 2) The data included in 2) is compared with the special data, and the position information (Na, Nb, Nc: FIG. 2) of the matching data determined to correspond to the matching is recorded, and the matching data is recorded from the content. Is deleted to create an edited content (edited video content 14a: FIG. 2), and the deleted content is deleted based on the position information of the matching data. The content distribution apparatus 1 that inserts the digital watermarked data instead of data to create and distribute the digital watermarked content (digital watermark video content 16a: FIG. 2), and the content distribution apparatus via the communication network 3 And a content playback device 2 that receives and plays back the digital watermarked content from the content distribution device.
第１の実施形態に係るコンテンツ配信システムによれば、コンテンツ配信装置１は、映像コンテンツを配信する際に、編集映像コンテンツ１４ａ作成時に作成される位置情報（挿入位置情報）に基づき、予め作成済みのユーザ情報が埋め込まれた電子透かし映像データ１１ｗ２，１１ｂ２を編集映像コンテンツ１４ａに挿入しながらコンテンツ再生装置２に配信する方法であるため、電子透かし情報をリアルタイムに映像コンテンツに埋め込みながら配信する方法と比較して、耐性を低くすることなく、映像コンテンツに電子透かし情報を埋め込む際のサーバの処理負荷を低減したコンテンツ配信システムを提供することができる。 According to the content distribution system according to the first embodiment, the content distribution device 1 has been created in advance based on the position information (insertion position information) created when the edited video content 14a is created when distributing the video content. Since the digital watermark video data 11w 2 and 11b 2 in which the user information is embedded are distributed to the content playback device 2 while being inserted into the edited video content 14a, the digital watermark information is distributed while being embedded in the video content in real time. As compared with the method, it is possible to provide a content distribution system in which the processing load of the server when embedding digital watermark information in video content is reduced without reducing the durability.
また、第１の実施形態に係るコンテンツ配信システムによれば、電子透かし情報として会員番号等ユーザに固有のユーザ情報を埋め込むため、配信先のユーザを特定する情報を映像コンテンツに埋め込むことができる。したがって、映像コンテンツが違法に配信された（流出した）時に、流出した映像コンテンツに埋め込まれた配信先のユーザを特定する情報を抽出することで、流出した映像コンテンツの流出元や流出経路の特定を容易にするコンテンツ配信システムを提供することができる。 Also, according to the content distribution system according to the first embodiment, user information such as a membership number is embedded as digital watermark information, so that information specifying a distribution destination user can be embedded in video content. Therefore, when the video content is illegally distributed (outflowed), the information specifying the distribution destination user embedded in the outflowed video content is extracted, so that the outflow source or outflow route of the outflowed video content is identified. It is possible to provide a content distribution system that facilitates the above.
なお、前記した第１の実施形態に係るコンテンツ配信システムによれば、配信されるコンテンツは映像コンテンツとし、電子透かし情報の埋込み対象とする特定の映像データは、シーン切替え時のブラックアウトやホワイトアウトの場面としたが、配信されるメディアが音声コンテンツの場合は、街頭でのシーン等、ノイズの多い冗長場面とする。すなわち、電子透かし情報の埋込み対象とする場面は、映像コンテンツ、音声コンテンツのいずれにおいても埋め込まれた電子透かし情報が配信されるコンテンツの品質に影響を与えない場面である。 According to the content distribution system according to the first embodiment described above, the content to be distributed is video content, and the specific video data to be embedded with the digital watermark information is blackout or whiteout at the time of scene switching. However, if the distributed media is audio content, the scene is a noisy redundant scene such as a street scene. That is, the scene to be embedded with the digital watermark information is a scene that does not affect the quality of the content to which the embedded digital watermark information is distributed in both video content and audio content.
次に、前記したコンテンツ配信システムが有するコンテンツ配信装置１について詳細な説明を行う。
図３は、図１に示すコンテンツ配信装置１が実行するプログラムの構造を機能展開して示したブロック図である。
Next, the content distribution apparatus 1 included in the above-described content distribution system will be described in detail.
FIG. 3 is a block diagram showing the function of the structure of the program executed by the content distribution apparatus 1 shown in FIG.
図３に示されるように、コンテンツ配信装置１が実行するプログラムは、電子透かし埋込処理部１３と、コンテンツ編集処理部１４と、コンテンツ配信処理部１６と、に機能展開して示すことができる。また、コンテンツ配信装置１は、データベースとしてのユーザ情報ＤＢ１２と、記憶部１５とを含む。映像コンテンツ１０と、特殊映像データ１１とは、コンテンツ配信装置と接続する外部の記憶装置（不図示）に記憶されている。 As shown in FIG. 3, the program executed by the content distribution apparatus 1 can be shown in a functional manner in the digital watermark embedding processing unit 13, the content editing processing unit 14, and the content distribution processing unit 16. . Further, the content distribution apparatus 1 includes a user information DB 12 as a database and a storage unit 15. The video content 10 and the special video data 11 are stored in an external storage device (not shown) connected to the content distribution device.
電子透かし埋込処理部１３は、事前に電子透かし情報が埋め込まれた電子透かし映像データを作成して記憶部１５に記憶させる、電子透かし映像データ作成サーバとしての機能を有する。
電子透かし埋込処理部１３は、電子透かし情報の埋込み対象となる映像データに対し、ユーザ情報ＤＢ１２に格納されている、ユーザに固有の、例えば、会員番号等のユーザ情報を取得して電子透かし情報として埋め込む。ここで、電子透かし情報の埋込み対象となる映像データは、前記したように、複数の映像コンテンツで共通に使用される、シーン切り替え時のホワイトアウトやブラックアウトに代表される映像データとする。
このため、電子透かし埋込処理部１３は、図４にそのプログラム構造がさらに機能展開されて示されているように、ユーザ情報取得部１３１と、特殊映像データ取得部１３２と、電子透かし埋込部１３３と、を備える。
The digital watermark embedding processing unit 13 has a function as a digital watermark video data creation server that creates digital watermark video data in which digital watermark information is embedded in advance and stores it in the storage unit 15.
The digital watermark embedding processing unit 13 obtains user information, such as a membership number, stored in the user information DB 12 for the video data to be embedded with the digital watermark information, and obtains the digital watermark. Embed as information. Here, as described above, the video data to be embedded with the digital watermark information is video data typified by whiteout and blackout at the time of scene switching, which is commonly used for a plurality of video contents.
For this reason, the digital watermark embedding processing unit 13 includes a user information acquisition unit 131, a special video data acquisition unit 132, and a digital watermark embedding as shown in FIG. Unit 133.
図４において、ユーザ情報取得部１３１は、ユーザ情報ＤＢ１２にあらかじめ格納された会員番号等、ユーザに固有の情報（ユーザ情報）をユーザ情報ＤＢ１２から取得するものである。
特殊映像データ取得部１３２は、外部の記憶装置（不図示）に記憶された特殊映像データ１１を記憶装置から取得するものである。
電子透かし埋込部１３３は、特殊映像データ取得部１３２から特殊映像データ１１を取得し、ユーザ情報取得部１３１からユーザ情報を取得する。そして、電子透かし埋込み技術を使用して、特殊映像データ１１にユーザ情報を埋め込み、電子透かし映像データを作成し、電子透かし映像データを記憶部１５に記憶させるものである。
In FIG. 4, the user information acquisition unit 131 acquires information (user information) unique to the user such as a membership number stored in advance in the user information DB 12 from the user information DB 12.
The special video data acquisition unit 132 acquires special video data 11 stored in an external storage device (not shown) from the storage device.
The digital watermark embedding unit 133 acquires the special video data 11 from the special video data acquisition unit 132 and acquires user information from the user information acquisition unit 131. Then, using the digital watermark embedding technique, the user information is embedded in the special video data 11 to create the digital watermark video data, and the digital watermark video data is stored in the storage unit 15.
前記した電子透かし埋込み技術として、フーリエ変換（ＦＦＴ）、離散コサイン変換（ＤＣＴ）、ウォーブレット変換等に代表される、直交変換あるいは周波数変換が使用されることは周知の通りである。電子透かしは、人間の視覚や聴覚の生理学的な特性を考慮して、符号化されたデータ（ここではユーザ情報）が映像データに含まれる画面全体に書き込まれる（埋め込まれる）。 It is well known that orthogonal transformation or frequency transformation represented by Fourier transformation (FFT), discrete cosine transformation (DCT), warblet transformation, etc. is used as the above-described digital watermark embedding technique. In the digital watermark, encoded data (here, user information) is written (embedded) on the entire screen included in the video data in consideration of physiological characteristics of human vision and hearing.
説明を図３に戻す。コンテンツ編集処理部１４は、コンテンツ配信装置と接続する外部の記憶装置から映画等の配信すべき映像コンテンツ１０と、前記した特殊映像データ１１とを読み込み、映像コンテンツ１０に含まれる映像データと特殊映像データ１１とのパターン照合を行うものである。
コンテンツ編集処理部１４は、前記のパターン照合の結果、一致した映像データがあると判定された場合、その一致した映像データの配信順番などの位置情報（挿入位置情報）を記憶部１５に記憶させる機能と、一致した映像データを削除した編集映像コンテンツを作成して記憶部１５に記憶させる機能を有する。一方、一致する映像データがないと判定された場合は、そのまま映像コンテンツ１０を編集映像コンテンツとして記憶部１５に記憶させる機能を有する。
このため、コンテンツ編集処理部１４は、図５にそのプログラム構造が機能展開されて示されているように、映像コンテンツ取得部１４１と、特殊映像データ取得部１４２と、照合編集部１４３と、を備える。
Returning to FIG. The content editing processing unit 14 reads the video content 10 to be distributed such as a movie and the special video data 11 from the external storage device connected to the content distribution device, and the video data and special video included in the video content 10 are read. Pattern matching with the data 11 is performed.
When it is determined that there is matching video data as a result of the pattern matching, the content editing processing unit 14 causes the storage unit 15 to store position information (insertion position information) such as the distribution order of the matched video data. And a function of creating edited video content from which the matched video data is deleted and storing the edited video content in the storage unit 15. On the other hand, when it is determined that there is no matching video data, the storage unit 15 has a function of storing the video content 10 as it is as the edited video content.
Therefore, the content editing processing unit 14 includes a video content acquisition unit 141, a special video data acquisition unit 142, and a collation editing unit 143, as shown in FIG. Prepare.
図５において、映像コンテンツ取得部１４１は、外部の記憶装置（不図示）に記憶された映像コンテンツ１０を取得するものである。
特殊映像データ取得部１４２は、外部の記憶装置（不図示）に記憶された特殊映像データ１１を記憶装置から取得するものである。
照合編集部１４３は、映像コンテンツ取得部１４１から取得した映像コンテンツ１０に含まれる映像データと、特殊映像データ取得部１４２から取得した特殊映像データ１１とのパターン照合を行う。一致した映像データがある場合、照合編集部１４３は、一致した映像データに関する配信順番を挿入位置情報として内部に記録するとともに、映像コンテンツ１０から一致したシーン（映像データ）を削除し、削除後の映像コンテンツ（編集映像コンテンツ）を記憶部１５に記憶させるものである。
In FIG. 5, the video content acquisition unit 141 acquires the video content 10 stored in an external storage device (not shown).
The special video data acquisition unit 142 acquires special video data 11 stored in an external storage device (not shown) from the storage device.
The collation editing unit 143 performs pattern collation between the video data included in the video content 10 acquired from the video content acquisition unit 141 and the special video data 11 acquired from the special video data acquisition unit 142. If there is matching video data, the collation editing unit 143 records the distribution order regarding the matched video data as insertion position information inside, deletes the matching scene (video data) from the video content 10, and deletes the post-deletion The video content (edited video content) is stored in the storage unit 15.
説明を図３に戻す。コンテンツ配信処理部１６は、記憶部１５から挿入位置情報と、編集映像コンテンツと、電子透かし映像データとを取得する。そして、コンテンツ配信処理部１６は、挿入位置情報に基づき、編集映像コンテンツに電子透かし映像データを挿入して配信するものである。
ここで、コンテンツ配信処理部１６は、挿入位置情報に基づき、編集映像コンテンツに挿入位置が含まれるか否かを判定し、挿入位置が含まれる場合、編集映像コンテンツの該当する挿入位置に電子透かし映像データを挿入して、電子透かし映像コンテンツを作成し配信する。一方、挿入位置が含まれない場合、編集映像コンテンツをそのまま配信するものである。
Returning to FIG. The content distribution processing unit 16 acquires insertion position information, edited video content, and digital watermark video data from the storage unit 15. Then, the content distribution processing unit 16 inserts and distributes digital watermark video data into the edited video content based on the insertion position information.
Here, the content distribution processing unit 16 determines whether or not the edited video content includes an insertion position based on the insertion position information. If the insertion position is included, the content distribution processing unit 16 adds a digital watermark to the corresponding insertion position of the edited video content. Insert video data to create and distribute digital watermark video content. On the other hand, when the insertion position is not included, the edited video content is delivered as it is.
このため、コンテンツ配信処理部１６は、図６にそのプログラム構造が機能展開され示されているように、挿入位置情報取得部１６１と、編集映像コンテンツ取得部１６２と、電子透かし映像データ取得部１６３と、電子透かし映像データ挿入処理部１６４と、配信処理部１６５と、を備える。 For this reason, the content distribution processing unit 16 has an insertion position information acquisition unit 161, an edited video content acquisition unit 162, and a digital watermark video data acquisition unit 163, as shown in FIG. And a digital watermark video data insertion processing unit 164 and a distribution processing unit 165.
図６において、挿入位置情報取得部１６１は、記憶部１５（図３）に記憶された挿入位置情報を取得するものである。
編集映像コンテンツ取得部１６２は、記憶部１５に記憶された編集映像コンテンツを取得するものである。
電子透かし映像データ取得部１６３は、記憶部１５に記憶された電子透かし映像データを取得するものである。
In FIG. 6, an insertion position information acquisition unit 161 acquires the insertion position information stored in the storage unit 15 (FIG. 3).
The edited video content acquisition unit 162 acquires the edited video content stored in the storage unit 15.
The digital watermark video data acquisition unit 163 acquires the digital watermark video data stored in the storage unit 15.
電子透かし映像データ挿入処理部１６４は、挿入位置情報取得部１６１から挿入位置情報を取得し、編集映像コンテンツ取得部１６２から編集映像コンテンツを取得し、電子透かし映像データ取得部１６３から電子透かし映像データを取得する。電子透かし映像データ挿入処理部１６４は、挿入位置情報に基づいて、編集映像コンテンツに挿入位置が含まれるか否かを判定し、挿入位置が含まれる場合、編集映像コンテンツに電子透かし映像データを挿入位置に挿入して、電子透かし映像コンテンツを作成し、電子透かし映像コンテンツを配信処理部１６５に引き渡す。一方、挿入位置が含まれない場合、編集映像コンテンツをそのまま配信処理部１６５に引き渡すものである。
配信処理部１６５は、電子透かし映像データ挿入処理部１６４から引き渡された電子透かし映像コンテンツをＩＰネットワーク等の通信網３を介して、コンテンツ再生装置２に配信するものである。
The digital watermark video data insertion processing unit 164 acquires the insertion position information from the insertion position information acquisition unit 161, acquires the edited video content from the edited video content acquisition unit 162, and the digital watermark video data from the digital watermark video data acquisition unit 163. To get. Based on the insertion position information, the digital watermark video data insertion processing unit 164 determines whether or not the edited video content includes an insertion position. If the insertion position is included, the electronic watermark video data is inserted into the edited video content. The digital watermark video content is created by inserting it at the position, and the digital watermark video content is delivered to the distribution processing unit 165. On the other hand, when the insertion position is not included, the edited video content is transferred to the distribution processing unit 165 as it is.
The distribution processing unit 165 distributes the digital watermark video content delivered from the digital watermark video data insertion processing unit 164 to the content reproduction device 2 via the communication network 3 such as an IP network.
図７〜図９は、第１の実施形態に係るコンテンツ配信装置１の動作を示すフローチャートであり、電子透かし埋込処理部１３（図７）、コンテンツ編集処理部１４（図８）、コンテンツ配信処理部１６（図９）のそれぞれの処理手順を示す。
以下、図７〜図９のフローチャートを参照しながら、図３〜図６に示す第１の実施形態に係るコンテンツ配信装置の動作について詳細に説明する。
7 to 9 are flowcharts showing the operation of the content distribution apparatus 1 according to the first embodiment. The digital watermark embedding processing unit 13 (FIG. 7), the content editing processing unit 14 (FIG. 8), and content distribution are shown in FIG. Each processing procedure of the processing unit 16 (FIG. 9) is shown.
Hereinafter, the operation of the content distribution apparatus according to the first embodiment shown in FIGS. 3 to 6 will be described in detail with reference to the flowcharts of FIGS. 7 to 9.
図７のフローチャートにおいて、電子透かしデータ作成処理の動作手順を示す。コンテンツ配信装置１（電子透かし埋込処理部１３）が電子透かし映像コンテンツを作成するにあたり、まず、ユーザ情報取得部１３１はユーザ情報ＤＢ１２から、会員番号等、ユーザに固有の情報（ユーザ情報）を取得する（ステップＳ１０１）。
そして、ユーザ情報取得部１３１は、取得するユーザ情報があったか否かを判定する（ステップＳ１０２）。
ユーザ情報がなかった場合（ステップＳ１０２“Ｎｏ”）、電子透かしデータ作成処理を終了する。
一方、ユーザ情報があった場合（ステップＳ１０２“Ｙｅｓ”）、特殊映像データ取得部１３２は電子透かし情報の埋込み対象となる特殊映像データ１１を取得する（ステップＳ１０３）。
なお、電子透かし情報を埋め込む特殊映像データとしては、複数の映像コンテンツで共通に使用される、例えば、シーン切り替え時のブラックアウトやホワイトアウトの映像データとすることは前記したとおりである。
In the flowchart of FIG. 7, the operation procedure of the digital watermark data creation processing is shown. When the content distribution apparatus 1 (the digital watermark embedding processing unit 13) creates the digital watermark video content, first, the user information acquisition unit 131 receives information (user information) unique to the user such as a membership number from the user information DB 12. Obtain (step S101).
Then, the user information acquisition unit 131 determines whether there is user information to be acquired (step S102).
When there is no user information (step S102 “No”), the digital watermark data creation process is terminated.
On the other hand, if there is user information (step S102 “Yes”), the special video data acquisition unit 132 acquires the special video data 11 to be embedded with the digital watermark information (step S103).
As described above, the special video data in which the digital watermark information is embedded is, for example, blackout or whiteout video data used in common with a plurality of video contents.
続いて、電子透かし埋込部１３３は、特殊映像データ取得部１３２から特殊映像データ１１を取得し、ユーザ情報取得部１３１からユーザ情報を取得する。そして、電子透かし埋込み技術を使用して、特殊映像データ１１にユーザ情報を埋め込み（ステップＳ１０４）、電子透かし映像データを作成する。
そして、電子透かし埋込部１３３は、電子透かし映像データを記憶部１５に記憶させる（ステップＳ１０５）。
Subsequently, the digital watermark embedding unit 133 acquires the special video data 11 from the special video data acquisition unit 132 and acquires user information from the user information acquisition unit 131. Then, using the digital watermark embedding technique, user information is embedded in the special video data 11 (step S104) to create digital watermark video data.
The digital watermark embedding unit 133 stores the digital watermark video data in the storage unit 15 (step S105).
次に、図８のフローチャートにおいて、映像コンテンツ編集処理の動作手順を示す。コンテンツ編集処理部１４（特殊映像データ取得部１３２）が電子透かし情報の埋込み対象となる特殊映像データ１１を取得する（ステップＳ１１１）。
そして、コンテンツ編集処理部１４（映像コンテンツ取得部１４１）は、外部から映像コンテンツの配信指示があった場合、不図示のコンテンツ作成装置により作成された、あるいはリアルタイムで作成される映画等の映像コンテンツ１０を所定の単位毎に分割した分割映像コンテンツを取得する（ステップＳ１１２）。
このとき、映像コンテンツ１０を分割した所定の単位は、時間でもよいし、映像データの数量でもよいが、ここでは、コンテンツ配信処理部１６（図３）が配信するときのデータ量とする。
Next, the operation procedure of the video content editing process is shown in the flowchart of FIG. The content editing processing unit 14 (special video data acquisition unit 132) acquires the special video data 11 to be embedded with the digital watermark information (step S111).
Then, the content editing processing unit 14 (video content acquisition unit 141), when receiving a video content distribution instruction from the outside, generates video content such as a movie created by a content creation device (not shown) or created in real time. A divided video content obtained by dividing 10 into predetermined units is acquired (step S112).
At this time, the predetermined unit obtained by dividing the video content 10 may be time or the amount of video data, but here, it is a data amount when the content distribution processing unit 16 (FIG. 3) distributes.
そして、映像コンテンツ取得部１４１は、取得する分割映像コンテンツがあったか否かを判定する（ステップＳ１１３）。
分割映像コンテンツがあった場合（ステップＳ１１３“Ｙｅｓ”）、照合編集部１４３は、映像コンテンツ取得部１４１から特殊映像データ１１を取得し、映像コンテンツ取得部１４１から分割映像コンテンツを取得する。
一方、分割映像コンテンツがなかった場合（ステップＳ１１３“Ｎｏ”）、映像コンテンツ編集処理を終了する。
前記したステップＳ１１２〜後記のステップＳ１１７の処理は、例えば、１２０分の映像コンテンツを１０分毎に分割した１２個の分割映像コンテンツがある場合、映像コンテンツ取得部１４１が１２個の分割映像コンテンツを取得した後、再びステップＳ１１２の処理を実行し、映像コンテンツ取得部１４１が分割映像コンテンツを取得できず、ステップＳ１１３にて取得する分割映像コンテンツがないと判定されるまで繰り返し実行される。
Then, the video content acquisition unit 141 determines whether there is a divided video content to be acquired (step S113).
When there is a divided video content (step S113 “Yes”), the collation editing unit 143 acquires the special video data 11 from the video content acquisition unit 141 and acquires the divided video content from the video content acquisition unit 141.
On the other hand, if there is no divided video content (step S113 “No”), the video content editing process is terminated.
For example, when there are 12 divided video contents obtained by dividing 120 minutes of video content every 10 minutes, the video content acquisition unit 141 converts the 12 divided video contents into 12 pieces of divided video content. After the acquisition, the process of step S112 is executed again, and the process is repeated until it is determined that the video content acquisition unit 141 cannot acquire the split video content and there is no split video content acquired in step S113.
照合編集部１４３は、分割映像コンテンツに含まれる映像データと、特殊映像データとのパターン照合を行い、所定の評価関数に基づく判定を行う（ステップＳ１１４）。
具体的に、所定の評価関数に基づく判定とは、照合編集部１４３が映像データに含まれる画面データに対して１画面毎にビット照合を行い、すべての画面データで一致率が７０％を超える映像データがあるか否かを判定する。
ここで、ステップＳ１１４の判定処理において、照合の結果、一致率が７０％を超える場合に「一致」とする。
The collation editing unit 143 performs pattern collation between the video data included in the divided video content and the special video data, and performs determination based on a predetermined evaluation function (step S114).
Specifically, the determination based on a predetermined evaluation function means that the collation editing unit 143 performs bit collation on the screen data included in the video data for each screen, and the coincidence rate exceeds 70% for all screen data. It is determined whether there is video data.
Here, in the determination process of step S114, if the matching rate exceeds 70% as a result of the collation, “match” is set.
一致率が７０％を超える映像データがある、つまり一致する映像データがある場合（ステップＳ１１４“Ｙｅｓ”）、照合編集部１４３は、その一致した位置（ここでは配信順番）を挿入位置情報として記憶部１５に記憶させる（ステップＳ１１５）。そして、照合編集部１４３は、一致した映像データを分割映像コンテンツから削除（抜き取り）し（ステップＳ１１６）、削除後の分割映像コンテンツ（分割編集映像コンテンツ）を作成する。
一方、一致率が７０％を超える映像データがない、つまり一致する映像データがない場合（ステップＳ１１４“Ｎｏ”）、映像コンテンツ取得部１４１から取得したそのままの分割映像コンテンツを分割編集映像コンテンツとする。
そして、照合編集部１４３は、分割編集映像コンテンツを記憶部１５に記憶させる（ステップＳ１１７）。
再びステップＳ１１２に戻り、映像コンテンツ取得部１４１が分割映像コンテンツを取得する処理を行う。
When there is video data with a matching rate exceeding 70%, that is, there is matching video data (step S114 “Yes”), the collation editing unit 143 stores the matching position (here, distribution order) as insertion position information. The data is stored in the unit 15 (step S115). Then, the collation editing unit 143 deletes (extracts) the matched video data from the divided video content (step S116), and creates the divided video content after being deleted (divided edited video content).
On the other hand, when there is no video data with a matching rate exceeding 70%, that is, there is no matching video data (“No” in step S114), the divided video content as it is acquired from the video content acquisition unit 141 is used as the divided edited video content. .
Then, the collation editing unit 143 stores the divided edited video content in the storage unit 15 (step S117).
Returning to step S112 again, the video content acquisition unit 141 performs a process of acquiring the divided video content.
次に、図９のフローチャートにおいて、映像コンテンツ配信処理の動作手順を示す。コンテンツ配信処理部１６は映像コンテンツを配信するにあたり、まず、挿入位置情報取得部１６１は、ステップＳ１１５（図８）で記憶部１５に記憶された挿入位置情報を取得し、電子透かし映像データ取得部１６３は、ステップＳ１０５（図７）で記憶部１５に記憶された電子透かし映像データを取得する（ステップＳ１２１）。
さらに、編集映像コンテンツ取得部１６２は、ステップＳ１１７（図８）で記憶部１５に記憶された分割編集映像コンテンツを配信順に取得する（ステップＳ１２２）。
Next, the operation procedure of the video content distribution process is shown in the flowchart of FIG. When the content distribution processing unit 16 distributes the video content, first, the insertion position information acquisition unit 161 acquires the insertion position information stored in the storage unit 15 in step S115 (FIG. 8), and the digital watermark video data acquisition unit. Step 163 acquires the digital watermark video data stored in the storage unit 15 in step S105 (FIG. 7) (step S121).
Further, the edited video content acquisition unit 162 acquires the divided edited video content stored in the storage unit 15 in step S117 (FIG. 8) in the order of distribution (step S122).
そして、編集映像コンテンツ取得部１６２は、取得する分割編集映像コンテンツがあったか否かを判定する（ステップＳ１２３）。
分割編集映像コンテンツがなかった場合（ステップＳ１２３“Ｎｏ”）、配信する映像コンテンツがないため、電子透かし映像コンテンツの配信完了とし（ステップＳ１２７）、映像コンテンツ配信処理を終了する。
一方、分割編集映像コンテンツがあった場合（ステップＳ１２３“Ｙｅｓ”）、電子透かし映像データ挿入処理部１６４は、挿入位置情報取得部１６１から挿入位置情報を取得し、編集映像コンテンツ取得部１６２から分割編集映像コンテンツを取得し、電子透かし映像データ取得部１６３から電子透かし映像データを取得する。
そして、電子透かし映像データ挿入処理部１６４は、挿入位置情報に記録された挿入位置を参照して、分割編集映像コンテンツに挿入位置が含まれるか否かを判定する（ステップＳ１２４）。
Then, the edited video content acquisition unit 162 determines whether there is a divided edited video content to be acquired (step S123).
If there is no divided edited video content (“No” in step S123), since there is no video content to be distributed, the distribution of the digital watermark video content is completed (step S127), and the video content distribution process is terminated.
On the other hand, when there is a divided edited video content (step S123 “Yes”), the digital watermark video data insertion processing unit 164 acquires the insertion position information from the insertion position information acquisition unit 161 and divides from the edited video content acquisition unit 162. The edited video content is acquired, and the digital watermark video data is acquired from the digital watermark video data acquisition unit 163.
Then, the digital watermark video data insertion processing unit 164 refers to the insertion position recorded in the insertion position information to determine whether or not the insertion position is included in the divided edited video content (step S124).
挿入位置が含まれる場合（ステップＳ１２４“Ｙｅｓ”）、電子透かし映像データ挿入処理部１６４は、分割編集映像コンテンツの挿入位置に電子透かし映像データを挿入し（ステップＳ１２５）、分割電子透かし映像コンテンツを作成する。
そして、ステップＳ１２５の処理の後、電子透かし映像データ挿入処理部１６４は、分割電子透かし映像コンテンツを配信処理部１６５に引き渡す。また、挿入位置が含まれない場合（ステップＳ１２４“Ｙｅｓ”）には、そのまま分割編集映像コンテンツを配信処理部１６５に引き渡す。
配信処理部１６５は、引き渡された分割電子透かし映像コンテンツ、または分割編集映像コンテンツを、ＩＰネットワーク等の通信網３（図１）を介してコンテンツ再生装置２（図１）に配信する（ステップＳ１２６）。
When the insertion position is included (step S124 “Yes”), the digital watermark video data insertion processing unit 164 inserts the digital watermark video data at the insertion position of the divided edited video content (step S125), create.
After the processing in step S125, the digital watermark video data insertion processing unit 164 delivers the divided digital watermark video content to the distribution processing unit 165. If the insertion position is not included (step S124 “Yes”), the divided edited video content is delivered to the distribution processing unit 165 as it is.
The distribution processing unit 165 distributes the delivered divided digital watermark video content or divided edited video content to the content reproduction apparatus 2 (FIG. 1) via the communication network 3 (FIG. 1) such as an IP network (step S126). ).
前記した第１の実施形態に係るコンテンツ配信装置１によれば、耐性の高い会員毎の電子透かし情報が埋め込まれた映像データを予め準備しておき、配信時に入れ替え配信することにより、映像コンテンツのリアルタイム配信時のサーバ（コンテンツ配信装置１）負荷が減少し、コンテンツ配信性能が向上する。また、第１の実施形態に係るコンテンツ配信装置によれば、耐性が高いまま電子透かし映像コンテンツを配信できるため、コンテンツの不正流出経路が発見しやすく、このため、不正の抑止効果も得られる。
なお、前記した第１の実施形態に係るコンテンツ配信装置１によれば、映像コンテンツ配信毎に会員番号を変更することとしたため、配信元のユーザを特定することが容易になるが、この場合、会員番号に限らず、ユーザに固有のものであれば他の情報に代替でき、また、配信元情報も同時に埋め込むことで不正があった場合の更なる流出経路の発見が容易になる。
According to the content distribution device 1 according to the first embodiment described above, video data in which digital watermark information for each highly durable member is embedded is prepared in advance, and is replaced and distributed at the time of distribution. The load on the server (content distribution apparatus 1) during real-time distribution is reduced, and content distribution performance is improved. In addition, according to the content distribution apparatus according to the first embodiment, it is possible to distribute digital watermark video content with high durability, so that it is easy to find an illegal outflow route of the content, and therefore an illegal deterrent effect can be obtained.
According to the content distribution apparatus 1 according to the first embodiment described above, since the membership number is changed for each video content distribution, it becomes easy to specify the distribution source user. Not only the membership number, but also other information can be substituted if it is unique to the user, and the distribution source information is also embedded at the same time, so that it is easy to find a further outflow route when there is fraud.
（第２の実施形態）
前記した第１の実施形態に係るコンテンツ配信装置１は、電子透かし映像データを作成するにあたり、電子透かし情報が埋込み対象となるブラックアウトあるいはホワイトアウトの映像データに含まれる画面全体に書き込まれる（埋め込まれる）こととして説明した。
ここで、例えば、ＭＰＥＧ（Moving Picture Experts Group）ビデオフォーマットにより映像コンテンツが配信される場合を考えると、その処理単位であるマクロブロックに電子透かし情報を埋め込めば、画面全体に比べて埋め込む面積が小さいため、電子透かし情報を埋め込むための処理負荷が一層低減し、かつ、電子透かし映像データと一致する確率が高くなることから電子透かしの耐性が高くなると考えられる。
なお、「マクロブロック」とは、複数ブロックに分割されるフレーム画像領域をいい、例えば、１６画素×１６ラインの正方形ブロックをいう。
(Second Embodiment)
In creating the digital watermark video data, the content distribution apparatus 1 according to the first embodiment described above writes the digital watermark information over the entire screen included in the blackout or whiteout video data to be embedded (embedding). Explained).
Here, for example, considering the case where video content is distributed in the MPEG (Moving Picture Experts Group) video format, if the digital watermark information is embedded in the macroblock which is the processing unit, the area to be embedded is smaller than the entire screen. Therefore, the processing load for embedding the digital watermark information is further reduced, and the probability of matching with the digital watermark video data is increased, so that it is considered that the resistance of the digital watermark is increased.
The “macroblock” refers to a frame image area divided into a plurality of blocks, for example, a square block of 16 pixels × 16 lines.
以下、電子透かしを埋め込んだマクロブロック（電子透かしマクロブロック）を挿入して映像コンテンツを配信するコンテンツ配信装置１を第２の実施形態として以下に詳細説明を行う。
以下に説明する第２の実施形態に係るコンテンツ配信装置１は、映像コンテンツ１０が、ＭＰＥＧフォーマットの映像データであること以外は前記した第１の実施形態と同様である。
このため、図１に示すコンテンツ配信システムが有する構成、図３に示すコンテンツ配信装置１が実行するプログラム構造、ならびに図４、図５、図６にそれぞれ示す、電子透かし埋込処理部１３、コンテンツ編集処理部１４、コンテンツ配信処理部１６が実行するプログラム構造はそのまま使用することとする。
Hereinafter, a content distribution apparatus 1 that distributes video content by inserting a macro block in which a digital watermark is embedded (digital watermark macro block) will be described in detail as a second embodiment.
The content distribution apparatus 1 according to the second embodiment described below is the same as the first embodiment except that the video content 10 is video data in the MPEG format.
Therefore, the configuration of the content distribution system shown in FIG. 1, the program structure executed by the content distribution device 1 shown in FIG. 3, and the digital watermark embedding processing unit 13 and content shown in FIGS. 4, 5, and 6, respectively. The program structure executed by the editing processing unit 14 and the content distribution processing unit 16 is used as it is.
但し、コンテンツ配信装置１が実行する、電子透かしデータ作成処理（電子透かし埋込処理部１３）、映像コンテンツ編集処理（コンテンツ編集処理部１４）、映像コンテンツ配信処理（コンテンツ配信処理部１６）に若干の手順の違いがあるため、その違いにのみ着目し、それぞれ、図１０〜図１２に示すフローチャートを使用しながら説明を行う。 However, the content distribution device 1 performs slightly the digital watermark data creation processing (digital watermark embedding processing unit 13), video content editing processing (content editing processing unit 14), and video content distribution processing (content distribution processing unit 16). Therefore, the description will be made while focusing on only the difference and using the flowcharts shown in FIGS.
図１０は、第２の実施形態に係るコンテンツ配信装置１の電子透かし映像コンテンツの作成処理の処理手順を示すフローチャートである。
図１０のステップＳ２０４において、電子透かし埋込部１３３は、特殊映像データ取得部１３２から特殊映像データを取得し、ユーザ情報取得部１３１からユーザ情報を取得する。そして、電子透かし埋込み技術を使用して、特殊映像データのマクロブロックにユーザ情報を埋め込み（ステップＳ２０４）、電子透かしマクロブロックを作成する。そして、電子透かし埋込部１３３は、電子透かしマクロブロックを記憶部１５に記憶させる（ステップＳ２０５）。
このとき、電子透かし情報を埋め込む特殊映像データとしては、ＭＰＥＧビデオの場合、複数の映像データで共通に使用されるＭＰＥＧビデオの映像データに含まれる画面が１以上のデータを使用する。ここでも第１の実施形態同様、例えば、シーン切り替え時のブラックアウトやホワイトアウトに代表されるような、白くなるシーンや黒くなるシーンを使用するものとする。
なお、他のステップにおける処理（Ｓ２０１〜Ｓ２０３）は、図７のステップＳ１０１〜Ｓ１０３の処理内容と同じであるため重複を回避する意味で説明を省略する。
FIG. 10 is a flowchart showing a processing procedure of digital watermark video content creation processing of the content distribution apparatus 1 according to the second embodiment.
In step S <b> 204 of FIG. 10, the digital watermark embedding unit 133 acquires special video data from the special video data acquisition unit 132 and acquires user information from the user information acquisition unit 131. Then, using the digital watermark embedding technique, user information is embedded in the macro block of the special video data (step S204) to create a digital watermark macro block. Then, the digital watermark embedding unit 133 stores the digital watermark macroblock in the storage unit 15 (step S205).
At this time, as the special video data in which the digital watermark information is embedded, in the case of MPEG video, data including one or more screens included in the video data of MPEG video that is commonly used for a plurality of video data is used. Here, as in the first embodiment, for example, a scene that becomes white or a scene that becomes black, such as blackout or whiteout at the time of scene switching, is used.
In addition, since the process (S201-S203) in another step is the same as the process content of step S101-S103 of FIG. 7, description is abbreviate | omitted in the meaning which avoids duplication.
図１１は、第２の実施形態に係るコンテンツ配信装置１のコンテンツ編集処理部１４による映像コンテンツ配信処理の動作手順を示すフローチャートである。
図１１のステップＳ２１４において、コンテンツ編集処理部１４（照合編集部１４３）は、分割映像コンテンツに含まれる映像データのマクロブロックと、特殊映像データのマクロブロックとのパターン照合を行い、所定の評価関数に基づく判定を行う。
具体的に、所定の評価関数に基づく判定とは、照合編集部１４３が映像データに含まれる画面データのマクロブロックに対してマクロブロック毎にビット照合を行い、同区画のマクロブロックの一致率が７０％を超える映像データのマクロブロックがあるか否かを判定する。
一致率が７０％を超える映像データのマクロブロックがある、つまり一致する映像データがある場合（ステップＳ２１４“Ｙｅｓ”）、照合編集部１４３は、その一致した位置（ここでは配信順番と区画）を挿入位置情報として記憶部１５に記憶させる（ステップＳ２１５）。そして、照合編集部１４３は、一致した映像データのマクロブロックを分割映像コンテンツから削除（抜き取り）する（ステップＳ２１６）。
なお、他のステップにおける処理（Ｓ２１１〜Ｓ２１３，Ｓ２１７）は、図８のステップＳ１１１〜Ｓ１１３，Ｓ１１７の処理内容と同じであるため重複を回避する意味で説明を省略する。
FIG. 11 is a flowchart illustrating an operation procedure of video content distribution processing by the content editing processing unit 14 of the content distribution apparatus 1 according to the second embodiment.
In step S214 of FIG. 11, the content editing processing unit 14 (collation editing unit 143) performs pattern matching between the macroblocks of the video data included in the divided video content and the macroblocks of the special video data, and a predetermined evaluation function. Judgment based on
Specifically, the determination based on a predetermined evaluation function means that the collation editing unit 143 performs bit collation for each macroblock on the macroblock of the screen data included in the video data, and the matching rate of the macroblocks in the same section is It is determined whether there is a macroblock of video data exceeding 70%.
When there is a macroblock of video data with a matching rate exceeding 70%, that is, there is matching video data (“Yes” in step S214), the collation editing unit 143 displays the matching position (here, distribution order and section). It is memorize | stored in the memory | storage part 15 as insertion position information (step S215). Then, the collation editing unit 143 deletes (extracts) the matched macro block of the video data from the divided video content (step S216).
The processing in other steps (S211 to S213, S217) is the same as the processing contents of steps S111 to S113 and S117 in FIG.
図１２は、第２の実施形態に係るコンテンツ配信装置１のコンテンツ配信処理部１６による映像コンテンツ配信処理の動作手順を示すフローチャートである。
図１２のステップＳ２２４の判定処理において、分割編集映像コンテンツに挿入位置が含まれる場合（ステップＳ２２４“Ｙｅｓ”）、電子透かし映像データ挿入処理部１６４は、分割編集映像コンテンツの挿入位置に電子透かしマクロブロックを挿入し（ステップＳ２２５）、分割電子透かし映像コンテンツを作成する。
なお、他のステップにおける処理（Ｓ２２１〜Ｓ２２３，Ｓ２２６，Ｓ２２７）は、図８のステップＳ１２１〜Ｓ１２３，Ｓ１２６，Ｓ１２７の処理内容と同じであるため重複を回避する意味で説明を省略する。
FIG. 12 is a flowchart showing an operation procedure of video content distribution processing by the content distribution processing unit 16 of the content distribution apparatus 1 according to the second embodiment.
In the determination process of step S224 of FIG. 12, when the insertion position is included in the divided edited video content (step S224 “Yes”), the digital watermark video data insertion processing unit 164 adds the digital watermark macro to the insertion position of the divided edited video content. A block is inserted (step S225), and a divided digital watermark video content is created.
In addition, since the process (S221-S223, S226, S227) in another step is the same as the process content of step S121-S123, S126, S127 of FIG. 8, description is abbreviate | omitted in the meaning which avoids duplication.
前記した第２の実施形態に係るコンテンツ配信装置１によれば、耐性の高い電子透かし情報が埋め込まれた映像データ（電子透かし映像データ）を予め準備しておき、映像コンテンツ配信時に電子透かし映像データを挿入することにより、映像コンテンツのリアルタイム配信時のサーバ負荷が減少する。
また、処理単位であるマクロブロックに電子透かし情報を埋め込むことにより、フレーム一面に埋め込む場合に比べて埋め込む面積が極端に小さくなるため、挿入時の処理負荷が第１の実施形態に比較して一層低減し、また、このことから電子透かし映像データと一致する確率が高くなるため、電子透かしの耐性も高くなる。
さらに、本発明の第２の実施形態に係るコンテンツ配信装置１によれば、耐性が高いまま電子透かし映像コンテンツを配信できるため、映像コンテンツの不正流出経路が発見しやすく、このため、不正の抑止効果も得られる。
According to the content distribution apparatus 1 according to the second embodiment described above, video data (digital watermark video data) embedded with highly resistant digital watermark information is prepared in advance, and the digital watermark video data is distributed at the time of video content distribution. By inserting, the server load during real-time video content distribution is reduced.
Also, by embedding digital watermark information in a macroblock which is a processing unit, the area to be embedded becomes extremely small compared to the case where it is embedded in the entire frame, so that the processing load at the time of insertion is further increased compared to the first embodiment. In addition, since the probability of matching with the digital watermark video data is increased, the resistance of the digital watermark is also increased.
Furthermore, according to the content distribution apparatus 1 according to the second embodiment of the present invention, since the digital watermark video content can be distributed with high durability, it is easy to find an illegal outflow route of the video content. An effect is also obtained.
なお、第１の実施形態、第２の実施形態に係るコンテンツ配信装置１において、図３に示すコンテンツ配信装置１が有する機能は、すべてをソフトウェアによって実現しても、あるいはその少なくとも一部をハードウェアで実現してもよい。 In the content distribution apparatus 1 according to the first embodiment and the second embodiment, the functions of the content distribution apparatus 1 shown in FIG. 3 may be realized by software, or at least part of the functions may be hardware. It may be realized by wear.
例えば、（１）特殊映像データに電子透かし情報が埋め込まれた電子透かし映像データを作成する、（２）映像コンテンツに含まれる映像データと特殊映像データとの照合を行い、一致する映像データがある場合、一致した位置（挿入位置情報）を記録するとともに、該当する映像データが削除された映像コンテンツ（編集映像コンテンツ）を作成する、（３）挿入位置情報に基づき、編集映像コンテンツの該当位置に電子透かし映像データを挿入し配信する。
それぞれ、（１）電子透かし映像データ作成手段（電子透かし埋込処理部１３）、（２）映像コンテンツ編集手段（コンテンツ編集処理部１４）、（３）コンテンツ配信手段（コンテンツ配信処理部１６）におけるデータ処理は、１または複数のプログラムによりコンピュータ上で実現してもよく、また、その少なくとも一部をハードウェアで実現してもよい。
For example, (1) digital watermark video data in which digital watermark information is embedded in special video data is created, (2) video data included in video content is compared with special video data, and there is matching video data In this case, the matching position (insertion position information) is recorded and the video content (edited video content) from which the corresponding video data is deleted is created. (3) Based on the insertion position information, the corresponding position of the edited video content is created. Insert and distribute digital watermark video data.
In (1) digital watermark video data creation means (digital watermark embedding processing section 13), (2) video content editing means (content editing processing section 14), and (3) content distribution means (content distribution processing section 16), respectively. Data processing may be realized on a computer by one or a plurality of programs, and at least a part thereof may be realized by hardware.
１ コンテンツ配信装置
２ コンテンツ再生装置
３ 通信網
１０ 映像コンテンツ
１１ 特殊映像データ
１２ ユーザ情報ＤＢ
１３ 電子透かし埋込処理部（電子透かし入りデータ作成手段）
１４ コンテンツ編集処理部（コンテンツ編集手段）
１５ 記憶部
１６ コンテンツ配信処理部（コンテンツ配信手段）
DESCRIPTION OF SYMBOLS 1 Content delivery apparatus 2 Content reproduction apparatus 3 Communication network 10 Video content 11 Special video data 12 User information DB
13 Digital watermark embedding processing unit (data creation means with digital watermark)
14 Content editing processing unit (content editing means)
15 Storage Unit 16 Content Distribution Processing Unit (Content Distribution Unit)
Claims (9)
コンテンツに含まれるデータと前記特殊データとの照合判定を行い、一致に相当すると判定された一致データがある場合、前記一致データの位置情報を記録するとともに、前記コンテンツから前記一致データを削除して編集コンテンツを作成するコンテンツ編集手段と、
前記記録された一致データの情報に基づき、前記編集コンテンツに、前記削除したデータの代わりに前記電子透かし入りデータを挿入して、電子透かし入りコンテンツを作成し配信するコンテンツ配信手段と、
を備えたことを特徴とするコンテンツ配信装置。 Digital watermarked data creation means for creating digital watermarked data in which digital watermark information is embedded in special data commonly included in a plurality of contents,
When the data included in the content is compared with the special data, and there is matching data determined to correspond to the matching, the position information of the matching data is recorded, and the matching data is deleted from the content. Content editing means for creating edited content;
Content distribution means for creating and distributing digital watermarked content by inserting the digital watermarked data instead of the deleted data into the edited content based on the recorded matching data information;
A content distribution apparatus comprising:
前記コンテンツから前記一致データを削除して前記編集コンテンツを作成し、
前記編集コンテンツを蓄積するコンテンツ蓄積手段をさらに備えることを特徴とする請求項１に記載されたコンテンツ配信装置。 The content editing means includes
Deleting the matching data from the content to create the edited content;
The content distribution apparatus according to claim 1, further comprising content storage means for storing the edited content.
前記編集コンテンツが前記コンテンツ配信手段に取得される前に、前記特殊データに、ユーザに固有の電子透かし情報を埋め込み、前記電子透かし入りデータを作成することを特徴とする請求項１または請求項２に記載されたコンテンツ配信装置。 The digital watermarked data creation means includes:
3. The digital watermarked data is created by embedding digital watermark information unique to a user in the special data before the edited content is acquired by the content distribution means. The content distribution apparatus described in 1.
前記コンテンツ配信手段は、
前記編集コンテンツを取得し、前記電子透かし挿入位置情報との一致の有無を判定し、一致した場合、前記電子透かし入りデータを該当位置に挿入して、電子透かし入りコンテンツを作成し配信することを特徴とする請求項３に記載されたコンテンツ配信装置。 The position information is digital watermark insertion position information,
The content distribution means includes:
Obtaining the edited content, determining whether or not there is a match with the digital watermark insertion position information, and if there is a match, inserting the digital watermarked data into the corresponding position to create and distribute the digital watermarked content. 4. The content distribution apparatus according to claim 3, wherein
前記データは、マクロブロックであり、
前記電子透かし入りデータ作成手段は、
複数のコンテンツに共通に含まれる特殊マクロブロックに、電子透かし情報が埋め込まれた電子透かし入りマクロブロックを作成することを特徴とする請求項１に記載されたコンテンツ配信装置。 The special data is a special macro block,
The data is a macroblock;
The digital watermarked data creation means includes:
The content distribution apparatus according to claim 1, wherein a macroblock with a digital watermark in which digital watermark information is embedded in a special macroblock that is commonly included in a plurality of contents is created.
前記コンテンツ編集手段は、
前記コンテンツに含まれるマクロブロックと前記特殊マクロブロックとの照合判定を行い、一致に相当すると判定された一致マクロブロックがある場合、前記一致データの電子透かし挿入位置情報を記録するとともに、前記コンテンツから前記一致マクロブロックを削除して編集コンテンツを作成することを特徴とする請求項６に記載されたコンテンツ配信装置。 The position information is digital watermark insertion position information,
The content editing means includes
When the macro block included in the content is compared with the special macro block, and there is a matching macro block determined to correspond to the match, the electronic watermark insertion position information of the match data is recorded, and The content distribution apparatus according to claim 6, wherein the matching macroblock is deleted to create an edited content.
前記編集コンテンツを取得し、前記電子透かし挿入位置情報との一致の有無を判定し、一致した場合、前記電子透かし入りマ
クロブロックを該当位置に挿入して、電子透かし入りコンテンツを作成し配信することを特徴とする請求項７に記載されたコンテンツ配信装置。 The content distribution means includes:
Obtaining the edited content, determining whether there is a match with the digital watermark insertion position information, and if there is a match, inserting the digital watermark-containing macroblock into the corresponding position to create and distribute the digital watermark-containing content The content distribution apparatus according to claim 7.
前記コンテンツ配信装置とは通信網を介して接続され、前記コンテンツ配信装置から前記電子透かし入りコンテンツを受信して再生するコンテンツ再生装置と、
を備えたことを特徴とするコンテンツ配信システム。
Create digital watermarked data in which digital watermark information is embedded in special data that is commonly included in a plurality of contents, and perform a collation judgment between the data contained in the content and the special data. Recording the location information of the matching data, deleting the matching data from the content to create an edited content, and based on the location information of the matching data, the editing content includes the electronic data instead of the deleted data. A content distribution device that inserts watermarked data to create and distribute digital watermarked content;
A content reproduction apparatus connected to the content distribution apparatus via a communication network, and receiving and reproducing the digital watermarked content from the content distribution apparatus;
A content distribution system comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008234631A JP5521294B2 (en) | 2008-09-12 | 2008-09-12 | Content distribution apparatus, content distribution system, content distribution method, and content distribution program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008234631A JP5521294B2 (en) | 2008-09-12 | 2008-09-12 | Content distribution apparatus, content distribution system, content distribution method, and content distribution program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010068398A true JP2010068398A (en) | 2010-03-25 |
| JP5521294B2 JP5521294B2 (en) | 2014-06-11 |
Family
ID=42193556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008234631A Active JP5521294B2 (en) | 2008-09-12 | 2008-09-12 | Content distribution apparatus, content distribution system, content distribution method, and content distribution program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5521294B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000339851A (en) * | 1999-06-01 | 2000-12-08 | Sony Corp | Information signal duplication management method, information signal recording device, information signal output device, and recording medium |
| JP2002208900A (en) * | 2001-01-05 | 2002-07-26 | Purantekku:Kk | On-air information collecting/distributing system |
| JP2006074522A (en) * | 2004-09-02 | 2006-03-16 | Victor Co Of Japan Ltd | Commercial broadcasting system and receiving device |
| JP2008118606A (en) * | 2006-10-12 | 2008-05-22 | Excellead Technology:Kk | Content distribution apparatus, and content distribution system |
-
2008
- 2008-09-12 JP JP2008234631A patent/JP5521294B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000339851A (en) * | 1999-06-01 | 2000-12-08 | Sony Corp | Information signal duplication management method, information signal recording device, information signal output device, and recording medium |
| JP2002208900A (en) * | 2001-01-05 | 2002-07-26 | Purantekku:Kk | On-air information collecting/distributing system |
| JP2006074522A (en) * | 2004-09-02 | 2006-03-16 | Victor Co Of Japan Ltd | Commercial broadcasting system and receiving device |
| JP2008118606A (en) * | 2006-10-12 | 2008-05-22 | Excellead Technology:Kk | Content distribution apparatus, and content distribution system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5521294B2 (en) | 2014-06-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4253113B2 (en) | Material identification device and material identification method | |
| US7436976B2 (en) | Digital watermarking systems and methods | |
| US7209571B2 (en) | Authenticating metadata and embedding metadata in watermarks of media signals | |
| DE69824093T2 (en) | Generate, detect, record and display a watermark in moving images | |
| JP3782369B2 (en) | Storage device, content distribution system, and content distribution method | |
| TWI508540B (en) | Method and system for watermark insertion using video start codes | |
| WO2008014024A2 (en) | User discernible watermarking | |
| JP2003528538A (en) | Transmarking watermark embedding function as rendering command and watermark embedding processing based on multimedia signal features | |
| US7496197B2 (en) | Method and system for robust embedding of watermarks and steganograms in digital video content | |
| EP2036035B1 (en) | System and method for object oreinted fingerprinting of digital videos | |
| JP2003304388A (en) | Additional information detection processing device, content reproduction processing device and method, and computer program | |
| JP2000023116A (en) | Object identifier processing method and recording medium for implementing the method | |
| US7801326B2 (en) | Digital watermark and film mark | |
| CN101017493A (en) | Device and method for generating index information with link information | |
| US7738677B2 (en) | Efficient application of video marking technologies | |
| Shirali-Shahreza | A new method for real-time steganography | |
| JP3984452B2 (en) | Video data distribution system, video data reception / playback device, computer program, and content illegal distribution prevention method | |
| JP5521294B2 (en) | Content distribution apparatus, content distribution system, content distribution method, and content distribution program | |
| JP2003529987A (en) | Material identification method | |
| JP2002016891A (en) | Content usage condition inspection method, device thereof, and recording medium storing program thereof | |
| JP3880338B2 (en) | Data processing apparatus, data processing method, computer-readable recording medium, and data processing program | |
| KR100343604B1 (en) | Method for Inserting Object-based Digital Watermark Using Shuffling Technique | |
| KR101352830B1 (en) | Efficient application of video marking technologies | |
| US8718446B1 (en) | System and method for watermarking video content | |
| Tomar et al. | Time Performance of Digital Video Watermarking with MATLAB |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110322 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121010 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130118 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130723 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131021 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140324 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Ref document number: 5521294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |