JP5682167B2 - Video / audio recording / reproducing apparatus and video / audio recording / reproducing method - Google Patents
Video / audio recording / reproducing apparatus and video / audio recording / reproducing method Download PDFInfo
- Publication number
- JP5682167B2 JP5682167B2 JP2010169474A JP2010169474A JP5682167B2 JP 5682167 B2 JP5682167 B2 JP 5682167B2 JP 2010169474 A JP2010169474 A JP 2010169474A JP 2010169474 A JP2010169474 A JP 2010169474A JP 5682167 B2 JP5682167 B2 JP 5682167B2
- Authority
- JP
- Japan
- Prior art keywords
- transition point
- section
- video
- recording
- commercial message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 59
- 230000007704 transition Effects 0.000 claims description 185
- 238000001514 detection method Methods 0.000 claims description 98
- 230000008859 change Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 26
- 239000000872 buffer Substances 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000009191 jumping Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
本発明は、テレビジョン放送番組の録画と並行して、録画されるテレビジョン放送番組の本編の間に挟まれているコマーシャルメッセージ(Commercial Message、以降CM)を検出し、コマーシャルメッセージの部分を飛ばして記録や再生を行うことができる映像音声記録再生装置および映像音声記録再生方法に関するものである。 The present invention detects a commercial message (Commercial Message, hereinafter referred to as CM) sandwiched between main parts of a recorded television broadcast program in parallel with the recording of the television broadcast program, and skips the commercial message portion. The present invention relates to a video / audio recording / reproducing apparatus and a video / audio recording / reproducing method.
テレビジョン放送は、その内容から「番組本編区間」と「コマーシャルメッセージ区間」とに分類することができる。番組本編区間は、映画番組の場合には映画の内容自体の映像音声データに基づく放送部分である。一方、コマーシャルメッセージ区間(以降、CM区間)は、広告主や広告代理店などの依頼主が放送局と契約を結んで、依頼主から提供を受けた映像音声データに基づく放送部分であり、番組本編区間の合間に放送されるものである。また、CM区間には、放送局が自らの広告宣伝をするための放送も含まれる。番組本編区間とCM区間との間には、内容の関連が希薄である場合が多く、番組本編区間の視聴に集中したい視聴者にとっては、テレビジョン放送を録画する際または録画したテレビジョン放送を視聴する際に、CM区間を効率よく削除したい、または見飛ばしたい、とする要望がある。 Television broadcasts can be classified into “program main section” and “commercial message section” based on the contents. In the case of a movie program, the main program section is a broadcast portion based on video / audio data of the content of the movie itself. On the other hand, the commercial message section (hereinafter referred to as the CM section) is a broadcast portion based on video / audio data provided by the client who has contracted with the broadcasting station by a client or an advertiser or other client. It is broadcast between the main sections. The CM section also includes a broadcast for the broadcast station to advertise itself. In many cases, the relationship between the program main section and the CM section is rarely related, and for viewers who want to concentrate on viewing the main program section, when recording a television broadcast or recording a television broadcast, When viewing, there is a desire to delete the CM section efficiently or to skip it.
従来の映像記録再生装置においては、録画したテレビジョン放送をユーザーが視聴しようする際に、録画された番組中のCM区間を予め知ることができず、リモコンの早送りボタン等を使って、CM区間を手動で飛ばして再生しなければならなかった。 In a conventional video recording / playback apparatus, when a user watches a recorded television broadcast, the CM section in the recorded program cannot be known in advance, and the CM section can be used by using the fast-forward button on the remote control. Had to be manually skipped and played.
そこで、テレビジョン放送を録画する際に、番組本編区間とCM区間とを区別する方法が考え出された。例えば、従来の映像音声記録装置は、テレビジョン放送の音声方式を検出し、検出された音声方式に基づいて番組本編区間とCM区間との識別を行っていた。番組本編の音声方式は、モノラル音声または二ヶ国語音声(洋画における日本語と英語など)であることが多く、また、一般に、CM区間の音声方式は、ステレオ音声であることが多い。このような音声方式の違いを利用して、ステレオ音声が検出された区間をCM区間と判別して、録画時にはCM区間の録画を行わない(すなわち、削除する)、又は、視聴時にはCM区間を見飛ばす(すなわち、スキップする)処理を行うようにしていた。 Thus, a method has been devised for distinguishing between the main program section and the CM section when recording a television broadcast. For example, a conventional video / audio recording apparatus detects an audio system of television broadcasting, and identifies a program main section and a CM section based on the detected audio system. The audio system of the main part of the program is often monaural audio or bilingual audio (such as Japanese and English in a Western movie). In general, the audio system of the CM section is often stereo audio. By utilizing such a difference in the audio system, the section in which stereo sound is detected is determined as the CM section, and the recording of the CM section is not performed at the time of recording (that is, deleted), or the CM section is not used at the time of viewing. The process of skipping (that is, skipping) was performed.
しかしながら、上記従来のCM検出方式は、番組本編区間の音声方式がCM区間の音声方式と同じステレオ音声である場合には、機能しなくなる。この改善策として、番組本編区間とCM区間との境界に挿入される「ブラック・フレーム」と呼ばれる全画面黒色のフレーム映像を検出してCM区間を特定する提案がある(例えば、特許文献1参照)。また、番組本編区間とCM区間との境界に生じる無音区間を検出し、検出された無音区間の出現間隔からCM放送区間を特定する提案もある(例えば、特許文献2参照)。また、映像のシーンチェンジの発生頻度を利用してCM区間を抽出する提案もある(例えば、特許文献3参照)。さらに、視聴時に、ユーザーのボタン操作によって、15秒などの固定時間を見飛ばし(すなわち、スキップ)するユーザーインターフェースを提供する提案もある。また、番組の録画と同時にCM区間を特定する提案もある(例えば、特許文献4参照)。 However, the conventional CM detection method does not function when the audio system in the main program section is the same stereo sound as the audio system in the CM section. As an improvement measure, there is a proposal for specifying a CM section by detecting a full-screen black frame image called a “black frame” inserted at the boundary between the main program section and the CM section (see, for example, Patent Document 1). ). There is also a proposal for detecting a silent section that occurs at the boundary between a main program section and a CM section, and specifying a CM broadcast section from the appearance interval of the detected silent section (see, for example, Patent Document 2). There is also a proposal for extracting a CM section using the frequency of occurrence of a scene change in a video (see, for example, Patent Document 3). In addition, there is also a proposal for providing a user interface that skips (ie, skips) a fixed time such as 15 seconds by the user's button operation during viewing. There is also a proposal for specifying a CM section simultaneously with the recording of a program (see, for example, Patent Document 4).
近年、テレビジョン放送の番組を記録メディアに録画しながら、録画された映像を再生して番組を視聴する、いわゆるタイムシフト再生や追っかけ再生と呼ばれる視聴方法が知られている。このようなタイムシフト再生において、録画された映像を視聴する場合にCM区間の再生を飛ばして、徐々にテレビジョン放送の受信している映像に近づいたときに、録画された映像の視聴から放送されている映像に切り換えることが望まれている。例えば、録画中の番組を記録したメディアから視聴している場合に、再生している番組の再生時刻と、受信している放送の時刻が近くなり、かつ放送されている内容と再生している内容が同一のCMであった場合、記録したメディアからの再生を中断し、放送視聴に切り替わる提案がある(例えば、特許文献5参照)。このようなタイムシフト再生方法において、CM区間は、上述のような音声方式の違いや、シーンチェンジの発生頻度を利用して検出している。 In recent years, a so-called time-shift playback or chasing playback method is known, in which a television broadcast program is recorded on a recording medium, and the recorded video is played and the program is viewed. In such time-shifted playback, when the recorded video is viewed, the playback of the CM section is skipped, and when the video gradually approaches the received video of the television broadcast, the recorded video is broadcast from the viewing It is desirable to switch to the video that is being used. For example, when viewing the program being recorded from the recorded media, the playback time of the program being played is close to the time of the broadcast being received and the content being broadcast is being played back There is a proposal that, when the content is the same CM, the playback from the recorded medium is interrupted and switched to broadcast viewing (for example, see Patent Document 5). In such a time shift reproduction method, the CM section is detected by using the difference in the audio system as described above and the scene change occurrence frequency.
しかしながら、従来のタイムシフト再生方法においては、テレビジョン番組の録画と平行して録画中の番組を再生する場合に、連続再生であればその再生中の番組が映画などの本編区間であるかCM区間であるかの区別はつくものの、再生開始位置として番組の任意の位置を指定した場合に、この再生開始位置が本編区間であるかCM区間であるかの判定が困難であった。そのため、とくに番組の再生可能な終端位置付近では、指定した再生開始位置がCM区間であった場合にはこの位置がCM区間と判定できず、結果としてCM区間をスキップした再生ができないという問題があった。 However, in the conventional time-shifted playback method, when a program being recorded is played back in parallel with the recording of a television program, if it is a continuous playback, whether the program being played is a main section such as a movie or CM Although it can be distinguished whether it is a section, when an arbitrary position of a program is designated as a reproduction start position, it is difficult to determine whether the reproduction start position is a main section or a CM section. For this reason, particularly in the vicinity of the end position where the program can be played back, if the designated playback start position is a CM section, this position cannot be determined as a CM section, and as a result, playback with a skipped CM section cannot be performed. there were.
この発明は上述のような課題を解決するためになされたもので、その目的は、テレビジョン放送番組の録画と並行して録画中の番組を再生する場合において、録画中番組の再生終端位置付近についても、CM区間を特定し、CMスキップ再生もしくはCM区間のみを再生する映像音声記録装置を提供することである。 The present invention has been made to solve the above-described problems, and its object is to reproduce a program being recorded in parallel with the recording of a television broadcast program in the vicinity of the playback end position of the program being recorded. Is to provide a video / audio recording apparatus that identifies a CM section and reproduces a CM skip playback or only a CM section.
この発明に係る映像音声記録再生装置は、映像音声データを記録する記録手段と、前記映像音声データの所定の変移点を検出する変移点検出手段と、予めコマーシャルメッセージパターンとして設定されたCMパターン長、及び、コマーシャルメッセージパターンが連続する可能性のない長さとして設定されたCM終了時間長に基づいて、前記変移点検出手段により検出された変移点と変移点との間隔がコマーシャルメッセージ区間であるか否かを判定するCM区間判定手段と、前記CM区間判定手段からのコマーシャルメッセージ区間に係る判定情報に基づいて、コマーシャルメッセージ区間を再生することなく前記記録手段に記録された映像音声データを再生する再生手段とを備えた映像音声記録再生装置であって、前記再生手段が、前記記録手段に記録された前記映像音声データの任意の位置からの再生を開始するときに、再生開始位置から再生終端位置までの時間長が、前記CMパターン長のうちの最大となる2つの組合せ及び前記CM終了時間長の和よりも小さい場合には、前記再生開始位置から再生終端位置までの区間を再生しないことを特徴とするものである。 The video / audio recording / reproducing apparatus according to the present invention comprises a recording means for recording video / audio data, a transition point detecting means for detecting a predetermined transition point of the video / audio data, and a CM pattern length set in advance as a commercial message pattern. And the interval between transition points detected by the transition point detection means based on the CM end time length set as the length that the commercial message pattern is not likely to continue is the commercial message section. Based on the determination information related to the commercial message section from the CM section determination means, the video / audio data recorded in the recording means is reproduced without reproducing the commercial message section. A video / audio recording / reproducing apparatus comprising: Two combinations in which the time length from the reproduction start position to the reproduction end position becomes the maximum among the CM pattern lengths when the reproduction of the video / audio data recorded in the recording means from an arbitrary position is started and If it is smaller than the sum of the CM end time lengths, the section from the playback start position to the playback end position is not played back.
また、この発明に係る映像音声記録再生方法は、映像音声データを記録する記録ステップと、前記映像音声データの所定の変移点を検出する変移点検出ステップと、予めコマーシャルメッセージパターンとして設定されたCMパターン長、及び、コマーシャルメッセージパターンが連続する可能性のない長さとして設定されたCM終了時間長に基づいて、前記変移点検出ステップで検出された変移点と変移点との間隔がコマーシャルメッセージ区間であるか否かを判定するCM区間判定ステップと、前記CM区間判定ステップのコマーシャルメッセージ区間に係る判定結果に基づいて、コマーシャルメッセージ区間を再生することなく前記記録ステップで記録された映像音声データを再生する再生ステップとを有する映像音声記録再生方法であって、前記再生ステップが、前記記録ステップで記録された前記映像音声データの任意の位置からの再生を開始する場合には、再生開始位置から再生終端位置までの時間長が、前記CMパターン長のうちの最大となる2つの組合せ及び前記CM終了時間長の和よりも小さいときには、前記再生開始位置から再生終端位置までの区間を再生しないことを特徴とするものである。
The video / audio recording / reproducing method according to the present invention includes a recording step for recording video / audio data, a transition point detecting step for detecting a predetermined transition point of the video / audio data, and a CM set in advance as a commercial message pattern. Based on the pattern length and the CM end time length set as the length that the commercial message pattern is not likely to continue, the interval between the transition point detected in the transition point detection step is a commercial message section. And the audio / video data recorded in the recording step without reproducing the commercial message section based on the determination result relating to the commercial message section in the CM section determining step. A video / audio recording / reproducing method comprising: Thus, when the reproduction step starts reproduction from the arbitrary position of the video / audio data recorded in the recording step, the time length from the reproduction start position to the reproduction end position is the CM pattern length. The section from the reproduction start position to the reproduction end position is not reproduced when it is smaller than the sum of the two largest combinations and the CM end time length.
テレビジョン放送番組の録画と並行して録画中の番組を再生する場合において、録画中番組の再生終端位置付近についても、CM区間を特定し、CMスキップ再生をすることができる。 In case of reproducing the program being recorded in parallel with the recording of Te revision broadcast program, for the near reproduction end position of the recording in the program, identifying the CM segment can be a CM skip reproduction.
実施の形態1.
図1は、この発明を実施するための実施の形態1による映像音声記録再生装置100の構成を概略的に示すブロック図である。映像音声記録装置100は、アンテナ91によって受信された放送波から録画する放送番組を選局するチューナ5、チューナ5から出力された信号から録画に必要なデータを選択抽出する受信処理部6、および受信処理部6が抽出したAVストリームを入力ストリームバッファ8に一時的に保持し、記録部11にアンダーフローもしくはオーバーフローすることなく記録を行う入力ストリーム制御部7を備えている。また、映像音声記録再生装置100は、記録部11に記録されるAVストリームの再生アクセス単位に対する再生時刻情報とアドレス位置とを関連付けるためのアドレス情報を生成するアドレス情報生成部9と、アドレス情報生成部9で生成された各アドレス情報をAVストリームもしくは番組毎に1つもしくは複数有するアドレスマップとして管理するアドレスマップ管理部10とを有する。さらに、本映像音声記録再生装置100は、チューナ以外にインターネット92を経由してネットワーク端子15からAVストリームが入力される場合や、アナログ映像音声信号が外部入力処理部16から入力される場合にも対応する。
FIG. 1 is a block diagram schematically showing a configuration of a video / audio recording / reproducing
アナログ映像音声信号の場合、記録部11にAVストリームを記録するためには、映像音声信号を符号化する必要がある。符号化部14は、図示しないがアナログ映像音声信号をA/D変換されたデジタル映像音声信号をMPEG−2(Motion Picture Export Group)形式やH.264形式に変換を行う。また、符号化部14は、デジタル放送として受信したMPEG−2のデータに対して、符号化レート等を変更する目的で、再圧縮を行うことにも利用される。図1に示される記録部11は、HDDであっても、DVDのような光ディスクや磁気テープなどの他の情報記録媒体であってもよい。また、映像音声記録装置100は、放送番組を受信及び録画する受信機又はDVD/HDDハイブリッドレコーダであってもよい。さらに、映像音声記録装置100は、家庭用のビデオレコーダに限らず、パーソナルコンピュータ、映像サーバ、又は、監視システム用の監視レコーダなどの各種用途に適用できる。以下、本実施の形態における映像音声記録再生装置100の構成及び動作方法について説明する。
In the case of an analog video / audio signal, it is necessary to encode the video / audio signal in order to record an AV stream in the
<システム部分説明>
リモコン受信部2は、リモコンからの赤外線信号を受信し、制御信号に変換しシステム制御部1に送る。システム制御部1は、システムの状態を管理し、ユーザーからの録画要求や再生要求に応じて、録画制御部3や再生制御部4に対して、録画もしくは再生の要求指示を出す。録画制御部3は、チューナ5、受信処理部6、符号化部14、入力ストリーム制御部7およびアドレスマップ生成部9を制御し、録画処理を行う。
<System part explanation>
The remote
<再生部分説明>
映像音声記録再生装置100は、再生機能を有する。出力ストリーム制御部12は、記録部11に記録されているAVストリームを出力ストリームバッファ13に読み出す。復号化部18は、出力ストリーム制御部12から出力されるAVストリームを復号化し、デジタル映像信号に変換する。モニター出力端子17は、デジタル映像信号をモニター93に出力する。出力するデータ形式としては、HDMIインターフェースに対応したRGBやYCbCr信号や、アナログビデオ出力信号であるコンポジット信号やコンポーネント信号などがある。
<Reproduction part explanation>
The video / audio recording / reproducing
<入力および出力ストリームバッファ>
記録部11に書込まれる符号化ストリームは、可変レートに対応しており、1秒間に発生する符号量(ビットレート)は時間によって大きく変動する。そのため、入力ストリーム制御部7は、記録部11へのデータ書き込み対象であるAVストリームがオーバーフロー又はアンダーフローしないように、AVストリームを入力ストリームバッファ8に一時的に保持させ、記録部11の状態に応じてAVストリームの記録部11への書き出し制御を行っている。入力ストリームバッファ8は、リングバッファで構成されており、書き込み位置ポインタと読み出し位置ポインタによって有効なデータ領域が管理されている。すなわち、データの書き込み時には、書き込み位置ポインタを先頭にデータサイズ分の書き込みを行い、書き込んだデータサイズ分だけ書き込み位置ポインタを進める。一方、データの読み出し時には、読み出し位置ポインタを先頭にデータサイズ分の読み出しを行い、読み出したデータサイズ分だけ読み出し位置ポインタを進める。ただし、リングバッファの終了位置に来たときは、ポインタを先頭の位置に戻す処理を行う。また、同様に出力ストリーム制御部は、記録部11に記録されているAVストリームを復号する場合において、復号化部18が必要とするAVストリームを必要なときに供給可能なように、一時的に出力ストリームバッファ13に予め読み出しておく。これによって、AVストリームの復号化が途絶えなく実行が可能になる。
<Input and output stream buffers>
The encoded stream written in the
<記録動作>
次に、放送番組を記録する動作について説明する。ユーザーが手動で録画開始ボタンを押したとき、又は予め録画タイマーで設定しておいた録画開始時間になると、システム制御部1は、録画制御部3に対して録画を開始するように指示を送る。録画制御部3は、チューナ5、受信処理部6、入力ストリーム制御部7、アドレス情報生成部9および入力する信号がアナログ信号の場合は復号化部14に対して、録画開始を指示する。この指示を受けてチューナ5はアンテナ91で受信した放送波から指定チャンネルを選局する。チューナ2から出力された信号波は、受信処理部6に送られ、デジタル映像信号及びデジタル音声信号に変換される。録画制御部3は録画開始時にアナログデータの場合や、符号化の再エンコードが必要な場合、符号化部14に対して、符号化を行うことを指示する。入力ストリーム制御部7が管理する入力ストリームバッファ8には、符号化されたデータであるAVストリームが次々へ記録され、入力ストリーム制御部9は記録部11の書込みタイミングに合わせて、入力ストリームバッファ8に一時的に記録されているAVストリームを記録部11に転送し、記録部11はAVストリームを記録する。
<Recording operation>
Next, an operation for recording a broadcast program will be described. When the user manually presses the recording start button or when the recording start time set in advance by the recording timer is reached, the
入力ストリーム制御部7は、エンコード単位であるGOP(Group of Pictures)が入力ストリームバッファ8に書込まれる毎に、アドレス情報生成部9に対して、記録されたGOPに対応する再生開始時刻やデータのアドレス情報を送る。アドレスマップ管理部10は、アドレス情報生成部9が生成した時刻情報とアドレス情報のペアを番組単位もしくはAVストリーム単位で保持し、定期的もしくは録画終了や録画中断などのイベント発生時に、記録部11に記録を行う。
Each time a GOP (Group of Pictures), which is an encoding unit, is written in the
また、GOPを検出した入力ストリーム制御部7は、記録されたGOP情報をCM検出部20にも送り、CM検出部20では、GOP情報を元に、入力ストリームバッファ8に一時的に記録されたAVストリームの解析を行い、CMの断片であるCMブロック、もしくは、複数のCMブロックから構成されるCM群の検出を行う。ここで、CMブロックとは、ある商品やサービスを視聴者に広告するために作成された1つのまとまったコンテンツを示すものであり、CMブロックを1つ以上つなげたものがCM群である。本編区間と本編区間に挟まれたCM群をCM区間と呼ぶ。CM検出部で検出されたCM区間の情報は、記録部11に記録される。
The input
<CM検出部分説明>
本映像音声記録再生装置100は、特徴区間であるCMを検出するためのCM検出部20と、CM検出部20で検出したCM区間の情報を元に、記録すべきCM情報を生成するCM情報管理部21と、一度録画した番組に対して、CM区間の飛ばし見を実現するために、再生制御部4にCM情報を提供するためのデータベースである録画済番組用CM情報データベース(CMPr)22と、録画中の番組に対して、CM区間の飛ばし見を実現するために、再生制御部4にCM情報を提供するためのデータベースである録画中番組用CM情報データベース(CMPt)23を有する。
<CM detection part explanation>
The video / audio recording / reproducing
<再生動作>
次に再生動作について説明する。ユーザーが任意の番組の再生開始指示をリモコンなどを通じてシステム制御部1に出すと、システム制御部1は、再生制御部4に対して、指定番組の再生開始を指示する。再生制御部4は、再生対象となった番組のアドレスマップを記録部11から読み出し、アドレスマップ管理部10に展開する。再生制御部4は、再生経過時刻を管理しており、次に再生すべき時刻情報を元に、アドレスマップ管理部10に対して、時刻情報に対応するアドレス情報を問合せ、出力ストリーム制御部12に対応するアドレスのデータを記録部11から出力ストリームバッファ13に読み出すように指示を出す。読出しが完了すると再生制御部4は、次に読み出すアドレスデータをアドレスマップ管理部10に順次問合せを行い、出力ストリームバッファ13に次々とAVストリームを読み出していく。復号化部18は、復号化するAVストリームのデータを出力ストリームバッファ13から必要に応じて読み出し、復号化を行う。復号化されたデータは、モニター出力端子17からモニターへ出力される。
<Playback operation>
Next, the reproduction operation will be described. When the user issues an instruction to start playback of an arbitrary program to the
<CMスキップ再生>
次にCMスキップ再生について説明する。図2は、本実施の形態における番組中のCM群の開始時刻および終了時刻の例を示した図である。ある30分間の記録時間を持つ番組の再生が要求され、当該番組のCM区間の情報が図2で示される内容であったとする。システム制御部1から再生の指示を受けた再生制御部4は、アドレスマップ管理部10に記録部11に記録されたアドレスマップを読み出す指示と、CM情報管理部21に記録部11からCM情報を録画済番組用CM情報データベース22に読み出す指示を行う。再生制御部4は、録画済番組用CM情報データベース22から読み出されたCM区間の情報を元に、再生する区間を決定する。図2に示されたCM情報であれば、0:00:07から0:12:15までと、0:14:15から0:28:00までと、0:29:45から0:30:00までとの3つの区間を再生すべき区間とする。再生すべき区間については、一時的な番組として管理する方式(プレイリスト)としてもよい。また、再生経過時刻と再生すべき区間とを照らし合わせて、逐次再生すべきか否かを判定するものとしてもよい。再生制御部4は、決定した再生区間に基づいて、再生を継続する。CM区間をスキップした再生を実現するためには、予め作成した再生区間のみを再生する方法であっても、再生を行いつつ、次に再生する区間に対して、逐一再生区間であるか、スキップする区間であるかを判定する方法であってもよい。
<CM skip playback>
Next, CM skip reproduction will be described. FIG. 2 is a diagram showing an example of the start time and end time of the CM group in the program according to the present embodiment. Assume that a program having a recording time of 30 minutes is requested, and the CM section information of the program has the contents shown in FIG. Upon receiving the reproduction instruction from the
<CM検出処理>
次に、CM区間を検出する方法について説明する。まず、CMを検出するための基本原理について説明する。図3は、本実施の形態におけるCM検出処理の基本原理を説明するための説明図である。図3において、横軸は時間、縦軸は録画する番組の映像および音声を解析したときの、シーンチェンジおよび無音が発生した事象などを変移点として表したものである。変移点が発生したタイミングを30aから30iとする。なお、変移点は、シーンチェンジのみであっても、無音単独であっても、また外部から与えられた事象であってもよい。外部から与えられた事象として例えば、本映像音声記録再生装置の外部に接続したチューナからの音声変化信号などがある。
<CM detection process>
Next, a method for detecting a CM section will be described. First, the basic principle for detecting CM will be described. FIG. 3 is an explanatory diagram for explaining the basic principle of the CM detection processing in the present embodiment. In FIG. 3, the horizontal axis represents time, and the vertical axis represents a scene change, a phenomenon in which silence occurs, and the like as transition points when analyzing video and audio of a program to be recorded. The timing at which the transition point occurs is 30a to 30i. Note that the transition point may be a scene change alone, silence alone, or an event given from the outside. As an event given from the outside, for example, there is an audio change signal from a tuner connected to the outside of the video / audio recording / reproducing apparatus.
図4は、CMを検出するために、予め用意されたCMのパターンを示したCMテーブルである。ここでは、CMのパターンとして6種類(PTa〜PTf)の例を示し、それぞれ隣接する変位点の時間間隔とGOP間隔とが決められている。変移点の間隔が図4で示したCMテーブルのいずれかの時間間隔もしくはGOP間隔のパターンに一致してれば、各変移点間隔がCMブロックと判定される。CMブロックが2つ以上連続すればCM群と判定され、CM群が検出されることによって、CM区間として認識される。例えば図3にいて、30cから30gまでの変移点の各間隔に対して、対応するCMパターンが4つ存在するために、それぞれの変移点間隔がCMブロックと判定され、CMブロックが4つ連続するために、30cから30gまでをCM群として検出される。なお、CMテーブルには、CMパターンが連続する可能性のない長さとして、CM終了時間長PTxを併記している。変更点間隔がこのPTxに一致する場合は、その区間が本編区間と判断される。次に、実際のCM検出処理について、詳細に説明する。 FIG. 4 is a CM table showing CM patterns prepared in advance for detecting CMs. Here, six types (PTa to PTf) of examples of CM patterns are shown, and the time interval and GOP interval between adjacent displacement points are respectively determined. If the transition point interval coincides with any time interval or GOP interval pattern of the CM table shown in FIG. 4, each transition point interval is determined as a CM block. If two or more CM blocks are continued, it is determined as a CM group, and a CM group is detected and recognized as a CM section. For example, in FIG. 3, since there are four corresponding CM patterns for each interval of transition points from 30c to 30g, each transition point interval is determined as a CM block, and four CM blocks are consecutive. Therefore, 30c to 30g are detected as CM groups. In the CM table, the CM end time length PTx is also written as the length that the CM pattern is not likely to continue. When the change point interval matches this PTx, the section is determined to be the main section. Next, actual CM detection processing will be described in detail.
<CM検出処理詳細>
図5は、本実施の形態のCM検出部20の詳細を示すブロック図である。図5において、CM検出部20は、入力ストリームバッファ8に一時的に記録されているAVストリームをGOP単位で取得し、無音検出部25で無音を、シーンチェンジ検出部24で映像のシーンチェンジを検出する。シーンチェンジを検出する方法としては、符号化されたAVストリームを復号化し、前後フレームのヒストグラムの相関からシーンチェンジ判定をする方法や、AVストリームの符号化ピクチャのタイプや、動きベクトル、もしくは符号量の変動からシーンチェンジを求める方式がある。無音検出は、復号化したAVストリームの、音声出力レベルの低い区間が一定区間(例えば、0.5秒)以上続けば、無音が発生したと判定してもよい。シーンチェンジ検出部24で検出したシーンチェンジは、発生時刻が変移点検出部26に送られる。また、無音検出部25で検出された無音の時刻情報も変移点検出部26に送り込まれる。変移点検出部26では、シーンチェンジと無音が同時に発生した時刻を変移点と判定する。
<Details of CM detection processing>
FIG. 5 is a block diagram showing details of the
図6は、CM検出部20に保持されている変移点スタックテーブル29の例を示したものである。この変位点スタックテーブルは、変移点の有効無効フラグ、変移点GOP番号、連結終了GOP番号、連続するCMとして検出された変移点の個数である変移点カウンタ値、検出された変移点の無音時間長、及びシーンチェンジの変化量を示すシーンチェンジ差異値を示したもので、後述するようにCMブロックおよびCM群判定部27によって検出された変移点の情報が逐次保存されたものである。
FIG. 6 shows an example of the transition point stack table 29 held in the
図5におけるCMブロックおよびCM群判定部27は、予め設定しておいた図4で示したCMテーブル28を元に、図6で示した変移点スタックテーブル29の各変移点の間隔がCMテーブルに記載されたCMパターンと一致する場合、各変移点の間隔をCMブロックと判定する。CMブロックが複数連続した場合、当該区間をCM群とする。
The CM block and CM
図7は、CM検出部の無声音検出部などで検出された変移点を示したものである。図7において、(a)は無音検出部、(b)はシーンチェンジ検出部、(c)は変移点検出部でそれぞれ検出された変移点を表し、(d)はCM判定部でCMブロックと判定された間隔、(e)はCM判定部でCM群と判定された区間を表している。 FIG. 7 shows transition points detected by the unvoiced sound detection unit of the CM detection unit. In FIG. 7, (a) represents a silence detection unit, (b) represents a scene change detection unit, (c) represents a transition point detected by a transition point detection unit, and (d) represents a CM block by a CM determination unit. The determined interval, (e), represents a section determined as a CM group by the CM determination unit.
<CM検出処理フロー>
図8は、本実施の形態におけるCM検出処理手順を示したフローチャートである。図8を用いてCMブロックおよびCM群判定部27におけるCM検出処理手順について説明する。変移点検出部26においてシーンチェンジと無音区間とが同時に発生する変移点が検出されると、その情報がCMブロックおよびCM群判定部27に送られることによって、CMブロックおよびCM群判定部27の動作が開始する(ステップS401)。検出された変移点の情報は、CMブロックおよびCM群判定部27内の変移点スタックテーブル29の最後尾に保存される(ステップS402)。次に、変移点スタックテーブル29の読み出し基点を設定する(ステップS403)。図7(c)において、例えば、前回、変移点33aの処理まで完了していたとすると、今回は次の変移点33bを最初の基点とする。次に、変移点の終点側を設定する(ステップS407)。図7(c)においては、変移点33cを終点とする。もしも、変移点スタックテーブル29に終点となる変移点がなければ(ステップS408)、次の基点を取得する(ステップS404)。図7(c)においては、基点が変移点33aで終点が変移点33iの場合に、基点を変移点33bにする処理である。ここで、次の基点が見つからなければ(ステップS404)、CM検出処理を終了する(ステップS406)。基点と終点が決定した場合、基点から終点までの時間長を求める(ステップS409)。図7(c)においては、基点が変移点33b、終点が変移点33cの場合には、図6に示した変更点スタックテーブルからわかるように、基点のGOP番号‘10’と終点のGOP番号‘40’との差(すなわち、変移点間隔)である30GOPが、時間長である。この時間長が、図4で示したCMテーブルに記載されているパターンのうち、GOP間隔である30GOP、60GOP、120GOP、及び240GOPのいずれかに一致していれば(ステップS410)、基点の連結終了GOP番号を終点の連結終了GOP番号で置き換える(ステップS411)。さらに、終点の有効無効フラグを無効化し(ステップS412)、基点の変移点カウントを一つ増分する(ステップS413)。また、ステップS410においてCM基準時間長ではないと判定された場合は、次に、基点と終点間の時間長が、例えばCM終了時間長PTxとして、300GOPを設定していた場合、CM終了時間長PTxを超えているか否かを判断し(ステップS414)、超えていると判定された場合には、基点から連結終了GOP番号までをCM放送区間と判定し、CM放送区間の情報であるCM情報をCM情報管理部21に送る(ステップS415)。さらに、次回のCM放送区間検出処理の基点を今回のCM放送区間の最終変移点の次の変移点に設定すると共に、検出した最終変移点より前の変移点の有効無効フラグを無効化する(ステップS416)。
<CM detection processing flow>
FIG. 8 is a flowchart showing a CM detection processing procedure in the present embodiment. The CM detection processing procedure in the CM block and CM
上述のようなステップS404〜S416を録画動作中継続して実行することによって、記録する放送番組のCM区間をリアルタイムに検出することができる。CMブロックおよびCM群判定部27で検出したCM区間の時刻情報は、CM情報管理部21に渡され、記録部11に記録される。
By continuously executing steps S404 to S416 as described above during the recording operation, the CM section of the broadcast program to be recorded can be detected in real time. The time information of the CM section detected by the CM block and CM
なお、CM終了時間長PTxは、300GOPを指定しているが、この値に固定されるものではない。また、CM終了時間長PTxは、CMテーブルの最大値、例えば図4の場合、MAX{PTa、・・・、PTf}、つまり、PTfであってもよい。 The CM end time length PTx specifies 300 GOP, but is not fixed to this value. Further, the CM end time length PTx may be the maximum value of the CM table, for example, in the case of FIG. 4, MAX {PTa,..., PTf}, that is, PTf.
<おっかけ再生時のCM検出>
録画を行っている番組に対して、CMスキップ再生を実行する場合について説明する。録画実行中に、CM検出部20で検出されたCM情報は、録画中番組用CM情報データベース(CMPt)23に記録される。録画中の番組に対してCMスキップ再生を実行したい場合、再生制御部4は、CM情報管理部21を経由して、録画中番組用CM情報データベース(CMPt)23を参照することによって、再生する区間がCMであるか否かを判定することができる。
<CM detection during auto play>
A case where CM skip reproduction is executed for a program that is recording will be described. The CM information detected by the
次に、録画中におけるCM区間の検出手順を説明する。図9は、録画中の番組に対するCM検出処理手順を示したフローチャートである。図9に示したフローチャートは、図8示したフローチャートに暫定CM出力処理(ステップ517)のステップが加わったものである。ステップ517は、1つのCMブロックが検出される毎に、そのCMブロックのCM区間、検出された全ての区間および任意のCM区間の少なくとも1つのCM情報を、録画中番組用CM情報データベース(CMPt)23に書き出す処理である。すなわち、録画中におけるCM区間検出処理では、CMブロックが検出されるたびに、録画中番組用CM情報データベース(CMPt)23を更新することによって、録画中番組用CM情報データベース(CMPt)23の内容を最新の状態にするものである。 Next, a CM section detection procedure during recording will be described. FIG. 9 is a flowchart showing a CM detection processing procedure for a program being recorded. The flowchart shown in FIG. 9 is obtained by adding the step of provisional CM output processing (step 517) to the flowchart shown in FIG. In step 517, every time one CM block is detected, the CM section of the CM block, all the detected sections, and at least one CM information of an arbitrary CM section are stored in the CM information database for recorded program (CMPt). ) 23. That is, in the CM section detection process during recording, the contents of the CM information database for recorded program (CMPt) 23 are updated by updating the CM information database for recorded program (CMPt) 23 every time a CM block is detected. Is up to date.
次に、録画中のCMスキップ再生において、ユーザーからの要求によって、任意の位置にジャンプする必要がある場合について説明する。図10は、本実施の形態における録画中の番組に対してジャンプ処理を行う場合の可否反転処理の説明図である。図10において、CMG(i)tおよびCMG(i)eは、それぞれi番目のCM区間の開始および終了の位置(時刻?)を示している。図10(a)に示すように、ある再生位置から最終CM区間(CMG(i+1)t)からCMG(i+1)e)よりも前の区間であって、ひとつ前のCM区間(CMG(i)t)からCMG(i)e)以降にジャンプする場合(図10(a)中の(ア)の場合)は、既にジャンプ先がCM区間でないことが確定しているので、ジャンプした後、ジャンプした位置から再生を行ってもかまわないことがわかる。一方、ある再生位置から最終CM区間(CMG(i+1)t)からCMG(i+1)e)よりも後ろ区間にジャンプする必要があった場合、CMG(i+1)e以降から録画中番組の再生終端までは、CMがあるか否かが判定されていない。ここで、ジャンプする任意の位置と、録画中番組の再生終端位置との差を再生可否判定区間Nとする。この場合、ジャンプした位置から再生すべきか否かの判別が不可能である。ここで、再生終端とは、録画済の番組、もしくは録画中番組の再生可能な最終位置である。録画済の番組であれば、再生終端は録画された全データの最終位置を指すことが一般的である。一方、録画中の番組の再生終端とは、受信された放送のデータであるAVストリームそのものの終端や、再圧縮されたAVストリームの終端を指すものではなく、既に記録部11に記録されたAVストリームであって、かつ対応するアドレス情報も用意され、再生制御部4が特殊再生を含めた再生動作を行っても再生可能な領域の最終位置を示す。したがって、録画中番組の場合、時々刻々増加していくものである。
Next, a description will be given of a case where it is necessary to jump to an arbitrary position in response to a request from the user in CM skip playback during recording. FIG. 10 is an explanatory diagram of the availability reversal process when the jump process is performed on the program being recorded in the present embodiment. In FIG. 10, CMG (i) t and CMG (i) e indicate the start and end positions (time?) Of the i-th CM section, respectively. As shown in FIG. 10 (a), it is a section before a final CM section (CMG (i + 1) t) to CMG (i + 1) e) from a certain playback position, and is the previous CM section (CMG (i)). When jumping from t) to CMG (i) e) (in the case of (a) in FIG. 10 (a)), it is already determined that the jump destination is not the CM section. It can be seen that the playback may be performed from the position where it was made. On the other hand, when it is necessary to jump from a certain playback position to a section after the last CM section (CMG (i + 1) t) to CMG (i + 1) e), from CMG (i + 1) e to the end of playback of the program being recorded It is not determined whether or not there is a CM. Here, the difference between the arbitrary jump position and the playback end position of the program being recorded is defined as a playback availability determination section N. In this case, it is impossible to determine whether or not to reproduce from the jumped position. Here, the playback end is the last position where a recorded program or a program being recorded can be played back. In the case of a recorded program, the reproduction end point generally indicates the final position of all recorded data. On the other hand, the playback end of the program being recorded does not indicate the end of the AV stream itself that is the received broadcast data or the end of the recompressed AV stream, but the AV already recorded in the
そこで、再生可否判定定区間Nに対して、再生可能不可能を判定する閾値Ndを設ける。つまり、最新未判定区間Nが、Ndより大きい場合は、再生を可能とし(図10(b))、Ndより小さい場合は、再生が不可と判断する(図10(c))。 Therefore, a threshold value Nd for determining whether or not playback is possible is provided for the playback permission determination fixed section N. That is, when the latest undecided section N is larger than Nd, reproduction is possible (FIG. 10B), and when it is smaller than Nd, reproduction is judged impossible (FIG. 10C).
Ndの設定値は、例えば、図4に示すCMテーブルのCMパターンの最大値120秒を使っても良い。この場合、最新未判定区間が一般的なCM長さの最大値である120秒を超えているために、これより長いCMが存在する可能性はほとんどなく、CM群は完了するものと判定してもよい。この場合、最新未判定区間がCMであった場合、高い確立でCMをスキップして再生が可能である一方、最新未判定区間が120秒未満であれば、CMであるという判定を下せないために、最新未判定区間を結果的に再生せざるを得ない場合がある。
As the set value of Nd, for example, the
また、別のNdの設定値として、例えば、図4に示すCMテーブルのCMパターンが最小値5秒、もしくは15秒を使っても良い。この場合、最新未判定区間が5秒もしくは15秒を超えればCMでないと判定するために、本編区間を誤ってCM区間と判定し、スキップもしくは再生しないという不具合を低減できる。一方、30秒以上の長いCMを再生するという不具合の発生確率が高くなる。 As another set value of Nd, for example, the CM pattern of the CM table shown in FIG. 4 may use a minimum value of 5 seconds or 15 seconds. In this case, in order to determine that it is not a CM if the latest undecided section exceeds 5 seconds or 15 seconds, it is possible to reduce a problem that the main section is erroneously determined as a CM section and skipped or not reproduced. On the other hand, the probability of occurrence of a problem of reproducing a long CM of 30 seconds or more is increased.
次に、録画中の番組に対してCMスキップ再生を行っている場合に、タイムサーチや早送り操作で、別の位置を基点とした再生を行う場合の動作手順について説明する。図11は、本実施の形態のおける録画中の番組に対して、ジャンプ処理を行う場合の動作フローを示すフォローチャート図である。ユーザー等から任意位置からの再生要求がシステム制御部1に伝わると(ステップ601)、再生制御部4は、図11に示す手順に従って、再生すべきか否かの判定を行う。まず、ジャンプ先の再生位置がCM群内であるか否かを判定する(ステップ602)。ジャンプ先がCM群内であれば、再生できない旨のエラーを表示する等を行って(ステップ606)、処理を終了する(ステップ608)。一方、CM群でないと判定すると、ジャンプ先が最終CM群より後ろであるか否かを判定する(ステップ603)。最終CM群より前と判定すると、指定先にジャンプを行い、再生を開始する(ステップ607)。一方、ステップ603で、最終CM群より後、と判定すると、図10および上記で示した最新未判定区間時間長さを元にした判定処理を行う(ステップ604)。ステップ605にて判定処理の結果、再生可能と判定されれば、指定先にジャンプを行い、再生を開始する(ステップ607)。一方で、再生不可と判定されれば、再生できない旨のエラーを表示する等を行って(ステップ606)、処理を終了する(ステップ608)。
Next, a description will be given of an operation procedure in the case of performing playback based on another position by time search or fast-forward operation when CM skip playback is being performed on a program being recorded. FIG. 11 is a follow chart showing an operation flow when jump processing is performed on a program being recorded in the present embodiment. When a reproduction request from an arbitrary position is transmitted from the user or the like to the system control unit 1 (step 601), the
なお、図10および図11で説明したジャンプ処理を行う場合の制御は、再生制御部によって行われている。この再生制御部は、
ジャンプする任意の位置と、録画中番組の再生終端位置との差である再生可否判定区間Nを算出する差分検出部、
ジャンプ先の再生位置がCM群内であるか否かを判定(ステップ602)およびジャンプ先の再生位置が最終CM群より後ろであるか否かを判定(ステップ602)する再生開始位置判定部、
および再生可否判定区間Nと閾値Ndとを比較してジャンプ先の再生位置から再生するか否かを判定(S607)する再生開始判定部を備えている。
Note that the control when the jump process described in FIGS. 10 and 11 is performed is performed by the reproduction control unit. This playback control unit
A difference detection unit for calculating a playability determination section N which is a difference between an arbitrary position to jump and a play end position of the program being recorded;
A playback start position determination unit that determines whether or not the playback position of the jump destination is within the CM group (step 602) and determines whether or not the playback position of the jump destination is behind the last CM group (step 602);
Also, a playback start determination unit is provided that compares the playback availability determination section N with the threshold value Nd to determine whether playback is performed from the playback position at the jump destination (S607).
次に、録画中の番組に対してCMスキップ再生を行っている場合に、タイムサーチや早送り操作で、別の位置の再生を行う場合における、再生可否判定の方法について説明する。図12は、本実施の形態のおける録画中の番組に対して、ジャンプ処理を行う場合の可否反転処理の説明図である。再生の可否を判定するために、閾値である再生禁止区間Npを定義するとともに、この再生禁止区間Npを使って、再生可否判定区間Nが、再生禁止区間Npよりも長い場合は、再生を許可し、一方で短い場合は、再生を禁止するものとする。再生禁止区間Npは、CM群として想定されるCMパターンの組合せで構成される。例えば、CMテーブルにおいて最小の組合せである2種類のCMパターンを組合せてできる最大の変移点間隔(CM長さ)に、CM終了時間長PTxを加えた時間がNpの候補としてあげられる。図4であれば、PTf+PTf+PTx=390秒である。つまり、再生可否判定区間Nが390秒より短い場合は、CM群が発生する可能性があるとし、再生を許可しないとし、一方で、390秒を超えた時間長さが存在すれば、CM群が発生する可能性が極めて低いと考え、再生を許可するものとする。 Next, a description will be given of a method for determining whether or not playback is possible when playback at another position is performed by time search or fast-forward operation when CM skip playback is being performed on a program being recorded. FIG. 12 is an explanatory diagram of the availability inversion processing when performing jump processing for the program being recorded in the present embodiment. In order to determine whether or not playback is possible, a playback prohibition section Np, which is a threshold value, is defined. Using this playback prohibition section Np, if the playback permission section N is longer than the playback prohibition section Np, playback is permitted. On the other hand, if it is short, reproduction is prohibited. The reproduction prohibition section Np is composed of a combination of CM patterns assumed as a CM group. For example, a time obtained by adding the CM end time length PTx to the maximum transition point interval (CM length) that can be obtained by combining two types of CM patterns, which are the minimum combinations in the CM table, is given as a candidate for Np. In FIG. 4, PTf + PTf + PTx = 390 seconds. In other words, if the playability determination interval N is shorter than 390 seconds, the CM group may be generated and playback is not permitted. On the other hand, if the time length exceeding 390 seconds exists, the CM group It is considered that the possibility of occurrence is extremely low, and reproduction is permitted.
以上のように、本実施の形態に係る映像音声記録再生装置によれば、録画中であってもCM検出部でCM区間を検出したCM情報を、録画中番組用CM情報データベースから読み出せるので、再生対象となる区間について、CM区間であるか否かを判定することができる。とくに、録画中番組の再生終端位置についてもCM区間であるか否かを判定することができる。 As described above, according to the video / audio recording / reproducing apparatus according to the present embodiment, the CM information in which the CM section is detected by the CM detection unit can be read from the CM information database for the program being recorded even during recording. It can be determined whether or not the section to be reproduced is a CM section. In particular, it is possible to determine whether or not the playback end position of the program being recorded is also a CM section.
また、録画中番組の再生終端位置を含め、全ての再生位置に対してCM区間であるか否かを判定することができるので、任意の位置にジャンプする等の特殊再生が可能である。 Further, since it is possible to determine whether or not all playback positions including the playback end position of the program being recorded are CM sections, special playback such as jumping to an arbitrary position is possible.
また、録画中の番組に対して、CM区間をスキップして再生を行っている最中に、任意位置へのジャンプを要求された場合、ジャンプ先が録画中番組の再生終端付近であった場合、検出された最新のCM群の終了位置と、録画中番組の再生終端位置との差を、予め設定した閾値と比較することによって、当該区間が再生できるか否か判定できる。上記の差が閾値と比較して短い場合、当該区間をCMと判定し、再生を行わないようにできる。この場合、最新のCM分の終了位置から録画中番組の再生終端位置までを比較的簡単に再生すべきか否かを判定できる。 Also, when a jump to an arbitrary position is requested while playing a program being recorded while skipping the CM section, or when the jump destination is near the end of playback of the program being recorded By comparing the difference between the detected end position of the latest CM group and the playback end position of the program being recorded with a preset threshold value, it can be determined whether or not the section can be played back. If the difference is shorter than the threshold value, the section can be determined as CM and reproduction can be prevented. In this case, it can be determined whether or not playback from the end position of the latest CM to the playback end position of the program being recorded should be relatively easily performed.
とくにCM群に近いほど、その位置のデータがCMである可能性が高いため、CM群の終了位置からの位置差分で求めることによって、より正確にCMであるか否かを判定できる。よって、録画中の番組に対してCM区間をスキップ再生する場合に、録画中番組の再生終端付近であっても、上記判定に基づいてジャンプが可能になる。 In particular, the closer to the CM group, the higher the possibility that the data at that position is a CM. Therefore, by determining the position difference from the end position of the CM group, it can be more accurately determined whether or not it is a CM. Therefore, when the CM section is skip-reproduced with respect to the program being recorded, it is possible to jump based on the above determination even near the end of reproduction of the program being recorded.
また、上記検出された最新のCM群の終了位置と、録画中番組の再生終端位置との差を比較する閾値として、任意のCMパターンを使用してもよい。例えば最も短いCMパターン(図4を例にとると、5秒もしくは15秒)を採用し、検出された最新のCM群の終了位置と、録画中番組の再生終端位置との差と比較を行うものとし、上記の差が閾値である最も短いCMパターンより短い場合に、CMと判断し、再生を行わないようにできる。個の場合、CMはもちろんのこと、本編であっても非常に断片化しているため、番組と認識するのが難しい内容を再生しないようにすることができる。また、閾値とするCMパターンとして、最長のCMパターン(図4を例に取ると120秒)を採用してもよい。この場合、対象とする区間にほとんどのCMが入る可能性があり、かつ120秒以下を再生したとしても番組内容として十分な情報が得られないことより、CMと判定し、再生を行わないようにできる。 An arbitrary CM pattern may be used as a threshold for comparing the difference between the detected end position of the latest CM group and the playback end position of the program being recorded. For example, the shortest CM pattern (5 seconds or 15 seconds in the case of FIG. 4) is adopted, and the difference between the detected end position of the latest CM group and the playback end position of the program being recorded is compared. If the difference is shorter than the shortest CM pattern, which is the threshold value, it is determined that the CM is a CM and reproduction is not performed. In the case of individual pieces, not only the CM but also the main part is very fragmented, so that it is possible to prevent the reproduction of contents that are difficult to recognize as a program. Further, the longest CM pattern (120 seconds when taking FIG. 4 as an example) may be employed as the CM pattern as the threshold. In this case, most CMs may enter the target section, and even if 120 seconds or less are reproduced, sufficient information cannot be obtained as program contents. Can be.
一方で、予め設定しておく閾値として、CMパターンの組合せを用いることができる。このように閾値を設定することにより、当該区間が再生できるか否か判定できる。当該区間がCMパターンの組合せと一致するか否かを元にしているために、より正確にCM区間であるか否かを判定することができる。これによって、録画中の番組に対してCM区間をスキップ再生する場合に、録画中番組の再生終端付近を含め、任意の位置へのジャンプが可能になる。 On the other hand, a combination of CM patterns can be used as a preset threshold value. By setting the threshold value in this way, it can be determined whether or not the section can be reproduced. Since it is based on whether or not the section matches the combination of CM patterns, it can be determined whether or not it is a CM section more accurately. As a result, when skipping the CM section for the program being recorded, it is possible to jump to any position including the vicinity of the playback end of the program being recorded.
また、閾値として任意の2つのCMパターンの組合せを採用することによって、当該区間をCM区間相当とすることができる。例えば、2つのCMパターンの組合せの最大値は図4では、120秒+120秒=240秒なので、240秒を閾値とする。つまり、通常、240秒を超える、2つのCMブロックからなる最大時間長を有するCM群を検出することができ、任意の2つのCMブロックからなるCM群を含む可能性のある領域をスキップする再生が可能になる。 In addition, by adopting a combination of any two CM patterns as the threshold, the section can be made equivalent to a CM section. For example, the maximum value of the combination of two CM patterns is 120 seconds + 120 seconds = 240 seconds in FIG. In other words, it is possible to detect a CM group having a maximum time length composed of two CM blocks, which usually exceeds 240 seconds, and to skip an area that may include a CM group composed of two arbitrary CM blocks. Is possible.
さらに、閾値として任意の2つのCMパターンの組合せCM終了時間長PTxを加算してもよい。つまり120秒+120秒+150秒=390秒、とすることによって、CM群の検出遅れまで加味した領域をスキップした再生が可能になる。 Further, a combination CM end time length PTx of any two CM patterns may be added as a threshold value. In other words, by setting 120 seconds + 120 seconds + 150 seconds = 390 seconds, it is possible to perform playback while skipping an area that takes into account the detection delay of the CM group.
また、検出された最新のCM群の終了位置と、録画中番組の再生終端位置との差がCMパターンの組合せと同一であれば、CMと判断するような処理を付加してもよい。 Further, if the difference between the detected end position of the latest CM group and the playback end position of the program being recorded is the same as the combination of CM patterns, a process for determining a CM may be added.
なお、本実施の形態においては、再生禁止区間の閾値の設定として、最大の長さを有するCMパターンと、CM終了時間を組み合わせているが、この組合せに限定されるものではない。例えば、再生禁止区間の長さを短くしたいのであれば、最小の長さを有するCMパターンPTa、もしくはPTbを2つと、通常のCMの最大長さであるPTfを組合せた、130秒もしくは、150秒であってもよい。また、任意の1つのCMパターンを使用してもよい。閾値の設定は、CMテーブルを組合せて設定できることに特徴があり、CMパターンとの類似性から判定することによって、より正確にCMか否かの判定ができる。 In the present embodiment, the threshold value of the reproduction prohibited section is combined with the CM pattern having the maximum length and the CM end time. However, the present invention is not limited to this combination. For example, if it is desired to shorten the length of the reproduction prohibited section, 130 seconds or 150 combining two CM patterns PTa or PTb having the minimum length and PTf which is the maximum length of a normal CM. It may be seconds. Any one CM pattern may be used. The threshold setting is characterized in that it can be set in combination with a CM table, and it can be more accurately determined whether or not it is a CM by determining from the similarity to the CM pattern.
また、本実施の形態においては、録画中番組の再生終端位置と、最新のCM群の終了位置との差が短いほどCMと判断している。これは、本編の長さに比べ、CM群が短いことを利用するものである。この特性を利用することによって、最新のCM群の終了位置から録画中番組の再生終端位置までの間を正確にCMであるか否かを判定することができる。 In the present embodiment, the shorter the difference between the playback end position of the program being recorded and the end position of the latest CM group, the more CM is determined. This utilizes the fact that the CM group is shorter than the length of the main part. By using this characteristic, it is possible to determine whether or not the CM is accurately between the end position of the latest CM group and the playback end position of the program being recorded.
また一方で、最新のCM群より離れた位置を次に再生する場合、次のCM群が開始される可能性が高くなる。そのため、ジャンプする任意の位置と、録画中番組の再生終端位置との差にさらに別の閾値(本編区間が連続して放送される長さなど)を設定し、ジャンプする位置が最新のCM群の終了位置からある閾値以上の位置から当該番組の再生終端までの間であり、かつジャンプする位置が最新のCM群の終了位置からの時間距離に対してさらに別の閾値を超える場合に、次のCM群と判断する処理も考えられる。 On the other hand, when a position distant from the latest CM group is reproduced next, there is a high possibility that the next CM group is started. For this reason, another threshold (such as the length that the main section is broadcast continuously) is set for the difference between the arbitrary jump position and the playback end position of the program being recorded, and the jump position is the latest CM group. If the jump position is between a position above a certain threshold and the end of playback of the program and the jump position exceeds another threshold with respect to the time distance from the latest CM group end position, A process for determining a CM group of the above may also be considered.
さらには、録画中番組の再生終端に近い位置を再生しようとする場合ほど、当該再生位置が新たにCM検出部20によってCM区間であるか否かが未判定である可能性が高い。よって、視聴者にできるだけCMを見せたくない場合は、録画中番組の再生終端からの位置情報に応じて、CM区間と判定することは有効である。
Furthermore, as the position near the playback end of the program being recorded is to be played, there is a high possibility that the
なお、本実施の形態においては、CMをスキップ再生する場合を中心に説明したが、CMのみを再生する場合にもCMであるか否かの判定に利用できることは言うまでもない。 In the present embodiment, the case where the CM is skip-played has been mainly described, but it is needless to say that it can be used to determine whether or not the CM is also played when only the CM is played.
また、本実施の形態では、特徴区間をCMに特定しているが、CM検出部を、例えば、音楽、会話、ニュース、スポーツのハイライトシーン、ドラマの特徴シーン等、特定の内容に特化した検出処理を有するものに変更することによって、本実施の形態と同じく、録画中に特定区間のみを再生することが可能になる。 In this embodiment, the feature section is specified as CM. However, the CM detection unit specializes in specific contents such as music, conversation, news, sports highlight scenes, drama feature scenes, and the like. By changing to the one having the detection processing, it is possible to reproduce only a specific section during recording as in the present embodiment.
実施の形態2.
本発明の実施の形態2は、実施の形態1で示した映像音声記録再生装置において、CM判定処理の別の方法を示すものである。本実施の形態における映像音声記録再生装置の構成は、実施の形態1と同様である。本実施の形態では、録画中の番組に対してCM区間のスキップ再生を実行している場合において、CM検出部が再生実行中の区間に対してCMであると判定し、CM情報管理部に通知を行い、新たに録画中番組用CM情報データベースに当該CM情報が追加されるものである。
The second embodiment of the present invention shows another method of CM determination processing in the video / audio recording / reproducing apparatus shown in the first embodiment. The configuration of the video / audio recording / reproducing apparatus in the present embodiment is the same as that of the first embodiment. In this embodiment, when the skip playback of the CM section is being executed for the program being recorded, the CM detection unit determines that the CM is the CM for the section being played, and the CM information management unit Notification is performed, and the CM information is newly added to the CM information database for the program being recorded.
図13は、本実施の形態における録画中の番組に対して、ジャンプ処理を行う場合の説明図である。また、図14は、本実施の形態における番組中のCM群の開始時刻、終了時刻および境界時刻の例を示した図である。録画中の番組に対して、CM区間のスキップ再生を実行している場合に、上述のように新たなCM区間が録画中番組用CM情報データベースに追記されたとする。再生制御部は、追加されたCM区間であるCMG(i)を読み出し、現在の再生位置がCMG(i)tからCMG(i)eの間に入っていることを確認したとする(図13(b))。このとき、再生制御部は、再生している位置がCM区間の中であることは認識できるが、どのタイミングでCM区間外にジャンプしていいのかが不明である。例えば、ひとつのCMの中でジャンプを開始するようなことを行えば、視聴者に対して、内容が分断された番組もしくはCMを見せることになり、大きな違和感を与えてしまうことになりうる。そこで、本実施の形態では、図14(a)で示すように、検出されたCM区間情報に、新たに境界情報である境界時刻情報を加えることによって、CM区間と認識した場合でも、境界位置からCM区間外にジャンプすることによって、非常にスムーズな、視聴者に違和感を与えないような遷移が可能になる。境界の候補としては、映像の大きな変化が発生した位置や、無音の発生位置、MPEGストリームにおけるPATやPMT等、情報変化が大きな位置を採用すればよい。 FIG. 13 is an explanatory diagram when the jump process is performed on the program being recorded in the present embodiment. FIG. 14 is a diagram showing an example of the start time, end time, and boundary time of the CM group in the program according to the present embodiment. Assume that a new CM section is added to the CM information database for the program being recorded as described above when skip playback of the CM section is executed for the program being recorded. The playback control unit reads CMG (i), which is the added CM section, and confirms that the current playback position is between CMG (i) t and CMG (i) e (FIG. 13). (B)). At this time, the playback control unit can recognize that the playback position is in the CM section, but it is unclear at which timing the jump can be made outside the CM section. For example, if a jump is started in one CM, a program or CM whose contents are divided is shown to the viewer, which may give a sense of incongruity. Therefore, in the present embodiment, as shown in FIG. 14A, even if the boundary position information is newly added to the detected CM section information as boundary information, the boundary position is recognized. By jumping out of the CM section, it is possible to make a very smooth transition that does not give the viewer a sense of incongruity. As a candidate for a boundary, a position where a large change in information may be adopted, such as a position where a large change in video occurs, a position where silence occurs, or a PAT or PMT in an MPEG stream.
このような制御を行うことにより、図13(c)に示すように、再生中に、再生している位置がCMであると認識したとしても、境界位置であるCMG(i)p(1)まで、通常再生もしくは実行していた再生状態を継続し、CMG(i)p(1)に至ったところで、CMG(i)eに遷移することで、視聴者に違和感を与えることなく、追加されたCM情報に対応して再生を継続することができる。 By performing such control, as shown in FIG. 13C, even if it is recognized that the playback position is CM during playback, CMG (i) p (1) which is the boundary position is recognized. Until normal playback or the playback state that was being executed is continued and CMG (i) p (1) is reached, transition to CMG (i) e is added without giving the viewer a sense of incongruity. Playback can be continued corresponding to the received CM information.
以上のように、本実施の形態に係る映像音声記録再生装置によれば、録画中の番組を再生している場合において、再生制御部が、録画中番組用CM情報データベースから読み出したCM情報と、現在再生している位置とが一致している場合、つまりCM区間を再生していると判断した場合、CM群の先頭および終端の位置情報だけでなく、複数の境界位置情報を有するために、ジャンプする元の位置を確定することができる。つまり、ジャンプするタイミングを特定することができる。 As described above, according to the video / audio recording / reproducing apparatus according to the present embodiment, when the program being recorded is being reproduced, the reproduction control unit reads the CM information read from the CM information database for the program being recorded and If the current playback position is coincident, that is, if it is determined that the CM section is being played back, in order to have not only the start and end position information of the CM group but also a plurality of boundary position information , The original position to jump can be determined. That is, the jump timing can be specified.
また、CM群の境界時刻情報は、変移点を元に生成、つまり境界時刻情報は、各CMブロックの境界になっている場合が多い。つまり、再生している区間がCM区間と一致した場合において、当該のCM区間をスキップしたい場合、CMブロックの境界をジャンプ元としてジャンプするため、シーンの途中で再生が途切れたり、連続した音声の途中で再生が途切れたりすることで不要な音が発生することがない。つまり、非常にスムーズに再生することができる。 Further, the boundary time information of the CM group is generated based on the transition point, that is, the boundary time information is often the boundary of each CM block. In other words, when the section being played matches the CM section, if you want to skip that CM section, the jump is made with the CM block boundary as the jump source. Unnecessary sound is not generated when playback is interrupted. That is, it can be played very smoothly.
また、CM情報の中に、CMの先頭および終端の位置情報の他に境界情報を有しているため、この境界情報をジャンプ先の位置として利用することによって、スキップボタン等によって任意にジャンプできるジャンプ先に利用することができ、結果、ユーザーが任意のCMブロックに簡単にアクセスすることができる。 Further, since the CM information includes boundary information in addition to the position information of the beginning and end of the CM, by using this boundary information as a jump destination position, it is possible to jump arbitrarily by a skip button or the like. As a result, the user can easily access an arbitrary CM block.
また、上記境界情報として、映像の変化や音声の無音等、映像や音声情報を元に生成する境界情報とすることによって、映像および音声の区切りをジャンプ先もしくはジャンプ元とできるので、視聴者に違和感を与えることがない。 In addition, by using boundary information generated based on video and audio information, such as video changes and sound silence, as the boundary information, the video and audio can be separated from each other as a jump destination or source. There is no sense of incongruity.
また、上記境界情報を、記録する符号化情報、例えばTSストリームのPAT、PMT等を元にすることによって、ジャンプした後の復号化に失敗することがない。 Further, since the boundary information is based on the encoded information to be recorded, for example, PAT, PMT, etc. of the TS stream, decoding after jumping does not fail.
なお、本実施の形態では、CM情報としてCM群の開始および終了時刻情報と、その間の境界情報を生成することとしているが、CM群の情報をCMブロック単位で分割して出力してもよい(図14(b))。この場合、ジャンプ可能な位置がより把握しやすくなるという効果を呈する。 In this embodiment, the CM group start and end time information and the boundary information between them are generated as CM information. However, the CM group information may be divided and output in units of CM blocks. (FIG. 14B). In this case, there is an effect that it becomes easier to grasp the position where the jump is possible.
なお、本実施の形態においては、特徴区間としてCMを例にとって説明しているが、CM検出部を、例えば、音楽、会話、ニュース、スポーツのハイライトシーン、ドラマの特徴シーン等、特定の内容に特化した検出処理を有するものに変更するとともに、抽出した区間を細分化することによって、本実施の形態と同じく、特定区間を開始および終了時刻情報に加え、境界情報を付与することによって、再生位置のジャンプ先およびジャンプ元を規定できるために、録画中に特徴シーンが検出され、次のジャンプ先に遷移する必要がある場合や、任意の位置から特徴区間内にジャンプする必要があった場合、視聴者に違和感を与えないジャンプ処理が可能になる。 In the present embodiment, the CM is described as an example of the feature section. However, the CM detection unit may have specific contents such as music, conversation, news, sports highlight scenes, drama feature scenes, and the like. In addition to the specific section in addition to the start and end time information, by adding the boundary information by subdividing the extracted section and subdividing the extracted section into those having detection processing specialized for Because the jump destination and jump source of the playback position can be defined, a feature scene was detected during recording, and it was necessary to jump to the next jump destination or jump from any position into the feature section In this case, jump processing that does not give the viewer a sense of incongruity becomes possible.
実施の形態3.
本発明の実施の形態3は、実施の形態1で示した映像音声記録再生装置において、録画中におけるCM判定処理の別の方法を示すものである。本実施の形態における映像音声記録再生装置の構成は、実施の形態1と同様である。本実施の形態では、録画中の番組に対してCM区間のスキップ再生を実行している場合において、実施の形態1の図9で示したステップ517の暫定CM出力処理を不要とすることが特徴である。
The third embodiment of the present invention shows another method of CM determination processing during recording in the video / audio recording / reproducing apparatus shown in the first embodiment. The configuration of the video / audio recording / reproducing apparatus in the present embodiment is the same as that of the first embodiment. The present embodiment is characterized in that the provisional CM output process of step 517 shown in FIG. 9 of the first embodiment is not necessary when the CM section skip reproduction is executed for the program being recorded. It is.
実施の形態1においては、CM検出部は、図5に示すように、シーンチェンジ検出部による映像のシーンチェンジ検出と、無音検出部による音声の無音検出とによって、CM判定が起動され、CM成立の条件、つまり、変移点の間隔が図4のCMテーブルで定義されたCMパターンに一致する区間が連続すれば、CM群と判定していた。ところが、CM群の終了位置を検出するには、図9のステップ414で示される変移点の間隔がCM終了時間長PTxより大きい必要がある。このことは、もし、CM群の検出完了後に、変移点がまったく検出されなかった場合、もしくは、長らく変移点が発生しなかった場合、CM区間検出の完了(ステップS415)に至らず、録画中番組用CM情報データベース23に最新のCM情報が登録されない、つまり録画中の番組に対するCMスキップ再生において、再生終端付近のCM区間をスキップして再生することができない、という問題が発生する。そのためには、CM区間検出処理を完了させる何らかのイベントが必要となる。
In the first embodiment, as shown in FIG. 5, the CM detection unit activates CM determination by detecting a scene change of the video by the scene change detection unit and silence detection of the sound by the silence detection unit, and the CM is established. In other words, if a section in which the interval between transition points coincides with the CM pattern defined in the CM table of FIG. 4 continues, it is determined as a CM group. However, in order to detect the end position of the CM group, the transition point interval shown in step 414 of FIG. 9 needs to be larger than the CM end time length PTx. This means that if no transition point is detected after completion of the detection of the CM group, or if no transition point has occurred for a long time, the CM section detection is not completed (step S415) and recording is in progress. There is a problem that the latest CM information is not registered in the program
図15は、本実施の形態のCM検出部20の詳細を示すブロック図である。本字氏の形態のCM検出部20は、実施の形態1の図5で示したCM検出部に、録画中に発生した変移点を管理する変移点発生管理部36と、変移点発生管理部からの指示のもとダミー変移点を生成するダミー変移点発生部37とが新たに付加されている。
FIG. 15 is a block diagram showing details of the
変移点発生管理部36は、録画経過時間を検出するとともに、最新の変移点の情報を変移点検出部26から取得し、例えば、最新の変移点が発生した時間から現在の録画経過時間が、図4で示すCM終了時間長PTxを超えた場合、ダミー変移点発生部37に対して、ダミー変移点を発生するように指示を送る。ダミー変移点を発生するように指示を受けたダミー変移点発生部37は、CM検出を完了させるためのダミー変移点を発生させる。このダミー変移点は、通常の変移点の情報と同じであっても、また、ダミーを示すためのフラグ等の付加情報があってもいい。ダミーを示すためのフラグ等を設けることによって、CM検出部20、およびCMブロックおよびCM群判定部27において、通常のCMの区切りと誤判定することを回避することができる。上記において、ダミー変移点は、通常の変移点の発生以降CM終了時間長PTxを超えるのを待って生成していたが、ダミー変移点を生成するために待つ時間はCM終了時間長PTxに固定するものではない。待つ時間としては、システムの制約条件等を加味し、任意の時間を設定してもよい。また、ダミー変移点の時間情報と以前の変移点との時間差分は、図4のCMテーブルに記載されているCMパターンと一致しないように、ダミー変移点の時間情報を設定することが望ましい。例えば、CMパターンの最大長さ、つまり図4の場合として、120秒を超えた値に設定すると、全てのCMパターンと一致せず、かつ全てのCMパターンより長い時間長になるので、ダミー変移点を含む区間を誤ってCM区間と判定することがない。
The transition point
上記において、CMパターンと一致しないように、ダミー変移点の時間情報を設定するのは、もし、ダミー変移点と他の変移点との時間差分がCMパターンと一致する場合、ダミー変移点がCM群の新たな境界として誤認識されてしまう可能性があるからである。また、ダミー変移点の発生タイミングとして周期的にダミー変移点を発生させてもよい。周期的にダミー変移点を発生させる場合は、通常の変移点の発生タイミングを検知することが不要となるため、構成を簡単化できる。 In the above, the time information of the dummy transition point is set so as not to match the CM pattern. If the time difference between the dummy transition point and another transition point matches the CM pattern, the dummy transition point is set to CM. This is because it may be misrecognized as a new boundary of the group. In addition, dummy transition points may be periodically generated as dummy transition point generation timings. When the dummy transition point is generated periodically, it is not necessary to detect the normal generation timing of the transition point, so that the configuration can be simplified.
図16は、CM検出部の無声音検出部などで検出された変移点を示したものである。図16において、(a)は無音検出部、(b)はシーンチェンジ検出部、(c)は変移点検出部でそれぞれ検出された変移点を表し、(d)はCM判定部でCMブロックと判定された間隔、(e)はCM判定部でCM群と判定された区間を表している。
もし、CM群が終了した以降に、変移点が全く検出されなかった場合、CM検出処理が完了できず、結果として、CM1、CM2およびCM3からなるCM群35が録画中番組用CM情報データベース23に登録されず、結果としてCM群35の区間をスキップ再生できないことになる。一方、変移点発生管理部36とダミー変移点発生部37によって生成されたダミー変移点が存在すると(図16における33dummy)、図9のステップ414の条件を満たすために、CM群35を録画中番組用CM情報データベース23に登録でき、結果としてCM群35の区間に対してスキップ再生が可能となる。
FIG. 16 shows transition points detected by the unvoiced sound detection unit of the CM detection unit. In FIG. 16, (a) is a silence detection unit, (b) is a scene change detection unit, (c) is a transition point detected by a transition point detection unit, and (d) is a CM determination unit and a CM block. The determined interval, (e), represents a section determined as a CM group by the CM determination unit.
If no transition point is detected after the CM group is completed, the CM detection process cannot be completed. As a result, the
図17は、本実施の形態における録画中の番組に対するCM検出処理手順を示したフローチャートである。図17は、図8で示す手順に対して、スタート(ステップ401)後に、変移点発生検出(ステップ731)と、ダミー変移点発生条件判定(ステップ732)が付加されえている以外は、図8と同様である。図15に示したCM検出部20における変移点発生管理部36では、変移点検出部26の検出結果と録画経過時間とを元に、変移点の発生状況を監視している。図17では、変移点の発生がないと場合(ステップ731のいいえ)、変移点発生管理部36は、ダミー変移点を発生するか否かの判定処理を行う(ステップ732)。ここでは、録画中番組の再生終端時間、もしくは録画中番組の最新の録画経過時間と、最新の変移点が発生した時間との差分が、CM終了時間長PTxを越えた場合、ダミー変移点を発生するものとする。ダミー変移点を発生させるための条件は上記に限定されるものではなく、CM終了時間長PTx以外に、適切な値をとってもよい。
FIG. 17 is a flowchart showing the CM detection processing procedure for the program being recorded in the present embodiment. FIG. 17 is the same as FIG. 8 except that after the start (step 401), transition point detection (step 731) and dummy transition point generation condition determination (step 732) are added. It is the same. The transition point
発生したダミー変移点は、図17で示されるステップ402以降の手順に従って処理される。ステップ402以降の動作は、実施の形態1の図8と同様であるため、説明は省略する。ステップ414では、ダミー変移点と一つ前の変移点との時間差分が、CM終了時間長PTxより大きいため、CM区間検出が完了した(ステップ415)と判定が行われ、録画中番組用CM情報データベース23にCM情報が登録される。これによって、再生制御部4は、録画中番組の再生終端付近であってもCM区間をスキップした再生が可能となる。
The generated dummy transition point is processed according to the procedure after
このように構成された映像音声記録再生装置によれば、録画中であってもCM検出部でCM区間を検出したCM情報を、録画中番組用CM情報データベースから読み出せるので、再生対象となる区間について、CM区間であるか否かを判定できる。とくに、録画中番組の再生終端位置についてもCM区間であるか否かを判定することができる。 According to the video / audio recording / reproducing apparatus configured as described above, the CM information in which the CM section is detected by the CM detecting unit can be read out from the CM information database for the program being recorded even during recording, so that it becomes a reproduction target. It can be determined whether or not the section is a CM section. In particular, it is possible to determine whether or not the playback end position of the program being recorded is also a CM section.
また、録画中番組の再生終端位置を含め、全ての再生位置に対してCM区間であるか否かを判定することができるので、任意の位置にジャンプする等の特殊再生が可能である。 Further, since it is possible to determine whether or not all playback positions including the playback end position of the program being recorded are CM sections, special playback such as jumping to an arbitrary position is possible.
また、録画中の番組に対して実行されているCM検出処理において、実際のCM区間が完了した後に、映像のシーンチェンジや音声の無音によって生成される変移点が発生しない場合においても、自ら変移点を発生させることができる。その結果、映像のシーンチェンジや音声の無音によって生成される変移点が発生しない場合においても、CM検出処理を完了させることができるので、録画中の番組に対してCM区間をスキップ再生する場合に、録画中番組の再生終端付近であっても、ジャンプが可能になる。 Also, in the CM detection process executed for the program being recorded, even if the transition point generated by the scene change of the video or the silence of the audio does not occur after the actual CM section is completed, the transition is performed by itself. A point can be generated. As a result, the CM detection process can be completed even when a transition point generated by a video scene change or audio silence does not occur. Therefore, when skipping a CM section for a program being recorded, Jumping is possible even near the end of playback of the program being recorded.
また、実施の形態1における図9のステップ517、つまりCMブロックが検出されるたびに暫定のCM情報を録画中番組用CM情報データベース(CMPt)に書き出す必要がない。CMブロックの検出は、CM群の検出に比べ、頻度が高い。よって、同情報を書き出すCM情報管理部と、同情報を読み出す再生制御部とがCM情報データベースCMPt)に同時に読み書き動作を行うことを回避する、もしくは低減するのに効果がある。それにともなって、このような同時に読み書き動作を回避するためのCM情報管理部もしくは再生制御部への排他処理の実装も不要である。 Further, in step 517 of FIG. 9 in the first embodiment, that is, every time a CM block is detected, provisional CM information does not need to be written into the CM information database for recorded program (CMPt). The frequency of CM block detection is higher than that of CM group detection. Therefore, it is effective to avoid or reduce that the CM information management unit that writes out the information and the reproduction control unit that reads out the information simultaneously perform the read / write operation on the CM information database CMPt). Accordingly, it is not necessary to implement an exclusive process in the CM information management unit or the reproduction control unit for avoiding such simultaneous read / write operations.
また、本実施の形態においては、ダミー変移点を発生するタイミングを、本来の変移点の発生に合わせて制御していたが、変移点の発生に関係なく、周期的に発生させてもよい。その場合、制御アルゴリズム等が簡単になり、実装上のメリットがでることは言うまでもない。 In the present embodiment, the timing for generating the dummy transition point is controlled in accordance with the generation of the original transition point, but it may be generated periodically regardless of the generation of the transition point. In that case, it goes without saying that the control algorithm and the like become simple and provide merit in mounting.
また、ダミー変移点を発生するタイミングを、図4のCMテーブルで示す最大のCMパターンより大きくとることによって、ダミー変移点を通常の変移点と誤判定することなくCM検出が行え、結果として誤動作の少ない録画番組に対するCMカット再生が可能になる。 Further, by setting the timing of generating the dummy transition point to be larger than the maximum CM pattern shown in the CM table of FIG. 4, CM detection can be performed without erroneously determining the dummy transition point as a normal transition point, resulting in malfunction. CM cut playback for a recorded program with a small amount of content becomes possible.
また、ダミー変移点を発生するタイミングを、図4のCMテーブルで示すCMパターンと一致しないように制御することによって、ダミー変移点の関連する変移点の間隔をCMブロックとして認識されることを回避することができる。よって、誤動作の少ない録画番組に対するCMカット再生が可能になる。 Further, by controlling the timing at which dummy transition points are generated so as not to coincide with the CM pattern shown in the CM table of FIG. 4, it is possible to avoid recognizing the interval of transition points related to dummy transition points as CM blocks. can do. Therefore, CM cut reproduction for a recorded program with few malfunctions is possible.
また、ダミー変移点に特別な識別子を付加することによっても、ダミー変移点の関連する変移点の間隔をCMブロックとして認識されることを回避することができる。 Also, by adding a special identifier to the dummy transition point, it is possible to avoid recognizing the interval between transition points related to the dummy transition point as a CM block.
さらに、CM情報を頻繁に書き出すのであれば、録画中番組用CM情報データベース(CMPt)は、RAM等のアクセス速度の高い記憶媒体を採用しなければならないが、CM情報の書込み頻度を抑えることができるので、バイト単価が安いフラッシュメモリやハードディスク等を利用することができ、コストが有利になる。 Furthermore, if the CM information is frequently written, the CM information database for the program being recorded (CMPt) must employ a storage medium having a high access speed such as a RAM, but the CM information writing frequency can be suppressed. Therefore, it is possible to use a flash memory or a hard disk with a low unit cost per byte, which is advantageous in cost.
1 システム制御部、2 リモコン受信部、3 録画制御部、4 再生制御部、5 チューナ、6 受信処理部、7 入力ストリーム制御部、8 入力ストリームバッファ、9 アドレス情報生成部、10 アドレスマップ管理部、11 記録部、12 出力ストリーム制御部、13 出力ストリームバッファ、14 符号化部、15 ネットワーク端子、16 外部入力処理部、17 モニター出力端子、18 復号化部、20 CM検出部、21 CM情報管理部、22 録画済番組用CM情報データベース、23 録画中番組用CM情報データベース、24 シーンチェンジ検出部、25 無音検出部、26 変移点検出部、27 CMブロックおよびCM群判定部、28 CMテーブル、29 変移点スタックテーブル、30 変移点、31 無音情報、32 シーンチェンジ情報、33 変移点、34 検出CMブロック、35 検出CM群、36 変移点発生管理部、 37 ダミー変移点発生部、91 アンテナ、93 モニター、100 映像音声記録再生装置
1 system control unit, 2 remote control receiving unit, 3 recording control unit, 4 playback control unit, 5 tuner, 6 reception processing unit, 7 input stream control unit, 8 input stream buffer, 9 address information generation unit, 10 address
Claims (8)
前記映像音声データの所定の変移点を検出する変移点検出手段と、
予めコマーシャルメッセージパターンとして設定されたCMパターン長、及び、コマーシャルメッセージパターンが連続する可能性のない長さとして設定されたCM終了時間長に基づいて、前記変移点検出手段により検出された変移点と変移点との間隔がコマーシャルメッセージ区間であるか否かを判定するCM区間判定手段と、
前記CM区間判定手段からのコマーシャルメッセージ区間に係る判定情報に基づいて、コマーシャルメッセージ区間を再生することなく前記記録手段に記録された映像音声データを再生する再生手段とを備えた映像音声記録再生装置であって、
前記再生手段が、前記記録手段に記録された前記映像音声データの任意の位置からの再生を開始するときに、再生開始位置から再生終端位置までの時間長が、前記CMパターン長のうちの最大となる2つの組合せ及び前記CM終了時間長の和よりも小さい場合には、前記再生開始位置から再生終端位置までの区間を再生しないことを特徴とする映像音声記録再生装置。 Recording means for recording video and audio data;
A transition point detecting means for detecting a predetermined transition point of the video and audio data;
Based on the CM pattern length set in advance as the commercial message pattern and the CM end time length set as the length that the commercial message pattern is not likely to continue, the transition point detected by the transition point detecting means CM section determining means for determining whether or not the interval from the transition point is a commercial message section;
A video / audio recording / reproducing apparatus comprising: a reproduction unit that reproduces the video / audio data recorded in the recording unit without reproducing the commercial message interval based on the determination information related to the commercial message interval from the CM interval determination unit Because
When the playback unit starts playback of the video / audio data recorded in the recording unit from an arbitrary position, the time length from the playback start position to the playback end position is the maximum of the CM pattern lengths. The video / audio recording / reproducing apparatus is characterized in that the section from the reproduction start position to the reproduction end position is not reproduced when the two combinations and the CM end time length are smaller.
前記映像音声データの所定の変移点を検出する変移点検出手段と、
予めコマーシャルメッセージパターンとして設定されたCMパターン長、及び、コマーシャルメッセージパターンが連続する可能性のない長さとして設定されたCM終了時間長に基づいて、前記変移点検出手段により検出された変移点と変移点との間隔がコマーシャルメッセージ区間であるか否かを判定するCM区間判定手段と、
前記CM区間判定手段からのコマーシャルメッセージ区間に係る判定情報に基づいて、コマーシャルメッセージ区間を再生することなく前記記録手段に記録された映像音声データを再生する再生手段とを備えた映像音声記録再生装置であって、
前記再生手段が、前記記録手段に記録された前記映像音声データの任意の位置を再生しているときに、再生位置が新たに前記CM区間判定手段によりコマーシャルメッセージ区間内であると判定された場合には、前記再生位置から最初の変移点で再生を中断し、前記CM区間判定手段により次にコマーシャルメッセージ区間でないと判定される区間から再生を再開することを特徴とする映像音声記録再生装置。 Recording means for recording video and audio data;
A transition point detecting means for detecting a predetermined transition point of the video and audio data;
Based on the CM pattern length set in advance as the commercial message pattern and the CM end time length set as the length that the commercial message pattern is not likely to continue, the transition point detected by the transition point detecting means CM section determining means for determining whether or not the interval from the transition point is a commercial message section;
A video / audio recording / reproducing apparatus comprising: a reproduction unit that reproduces the video / audio data recorded in the recording unit without reproducing the commercial message interval based on the determination information related to the commercial message interval from the CM interval determination unit Because
When the playback means is playing back an arbitrary position of the video / audio data recorded in the recording means, the playback position is newly determined by the CM section determination means to be within a commercial message section In the video / audio recording / reproducing apparatus, the reproduction is interrupted at the first transition point from the reproduction position, and the reproduction is resumed from the section determined not to be the commercial message section by the CM section judging means.
前記映像音声データの所定の変移点を検出する変移点検出手段と、
予めコマーシャルメッセージパターンとして設定されたCMパターン長、及び、コマーシャルメッセージパターンが連続する可能性のない長さとして設定されたCM終了時間長に基づいて、前記変移点検出手段により検出された変移点と変移点との間隔がコマーシャルメッセージ区間であるか否かを判定するCM区間判定手段と、
前記CM区間判定手段からのコマーシャルメッセージ区間に係る判定情報に基づいて、コマーシャルメッセージ区間を再生することなく前記記録手段に記録された映像音声データを再生する再生手段とを備えた映像音声記録再生装置であって、
前記変移点検出手段により検出された最新の変移点からの経過時間が、前記CM終了時間長より大きく、かつ、前記CMパターン長及び前記CM終了時間長のいずれの組合せとも一致しない位置に、疑似変移点を設定する疑似変移点設定手段をさらに備え、
前記再生手段が、前記記録手段に記録された前記映像音声データの任意の位置からの再生を開始する場合には、前記CM区間判定手段は、前記最新の変移点と前記疑似変移点との間隔がコマーシャルメッセージ区間であるか否かについても判定し、前記再生手段は、前記CM区間判定手段からのコマーシャルメッセージ区間に係る判定情報に基づいて、コマーシャルメッセージ区間を再生することなく前記記録手段に記録された映像音声データを再生することを特徴とする映像音声記録再生装置。 Recording means for recording video and audio data;
A transition point detecting means for detecting a predetermined transition point of the video and audio data;
Based on the CM pattern length set in advance as the commercial message pattern and the CM end time length set as the length that the commercial message pattern is not likely to continue, the transition point detected by the transition point detecting means CM section determining means for determining whether or not the interval from the transition point is a commercial message section;
A video / audio recording / reproducing apparatus comprising: a reproduction unit that reproduces the video / audio data recorded in the recording unit without reproducing the commercial message interval based on the determination information related to the commercial message interval from the CM interval determination unit Because
At the position where the elapsed time from the latest transition point detected by the transition point detection means is larger than the CM end time length and does not match any combination of the CM pattern length and the CM end time length. A pseudo transition point setting means for setting a transition point;
When the reproduction unit starts reproduction from an arbitrary position of the video / audio data recorded in the recording unit, the CM section determination unit determines the interval between the latest transition point and the pseudo transition point. Whether or not the message is a commercial message section, and the reproducing means records the commercial message section in the recording means without reproducing the commercial message section based on the determination information related to the commercial message section from the CM section judging means. A video / audio recording / reproducing apparatus, wherein the recorded video / audio data is reproduced.
前記映像音声データの所定の変移点を検出する変移点検出ステップと、
予めコマーシャルメッセージパターンとして設定されたCMパターン長、及び、コマーシャルメッセージパターンが連続する可能性のない長さとして設定されたCM終了時間長に基づいて、前記変移点検出ステップで検出された変移点と変移点との間隔がコマーシャルメッセージ区間であるか否かを判定するCM区間判定ステップと、
前記CM区間判定ステップのコマーシャルメッセージ区間に係る判定結果に基づいて、コマーシャルメッセージ区間を再生することなく前記記録ステップで記録された映像音声データを再生する再生ステップとを有する映像音声記録再生方法であって、
前記再生ステップが、前記記録ステップで記録された前記映像音声データの任意の位置からの再生を開始する場合には、再生開始位置から再生終端位置までの時間長が、前記CMパターン長のうちの最大となる2つの組合せ及び前記CM終了時間長の和よりも小さいときには、前記再生開始位置から再生終端位置までの区間を再生しないことを特徴とする映像音声記録再生方法。 A recording step for recording video and audio data;
A transition point detecting step of detecting a predetermined transition point of the video and audio data;
Based on the CM pattern length set in advance as the commercial message pattern and the CM end time length set as the length that the commercial message pattern is not likely to continue, the transition point detected in the transition point detection step; A CM section determination step for determining whether or not the interval from the transition point is a commercial message section;
And a playback step of playing back the video / audio data recorded in the recording step without playing back the commercial message section based on the determination result relating to the commercial message section in the CM section determination step. And
When the reproduction step starts reproduction from an arbitrary position of the video / audio data recorded in the recording step, the time length from the reproduction start position to the reproduction end position is the CM pattern length. A video / audio recording / reproducing method characterized by not reproducing a section from the reproduction start position to the reproduction end position when the maximum two combinations and the CM end time length are smaller than the sum.
前記映像音声データの所定の変移点を検出する変移点検出ステップと、
予めコマーシャルメッセージパターンとして設定されたCMパターン長、及び、コマーシャルメッセージパターンが連続する可能性のない長さとして設定されたCM終了時間長に基づいて、前記変移点検出ステップで検出された変移点と変移点との間隔がコマーシャルメッセージ区間であるか否かを判定するCM区間判定ステップと、
前記CM区間判定ステップのコマーシャルメッセージ区間に係る判定結果に基づいて、コマーシャルメッセージ区間を再生することなく前記記録ステップで記録された映像音声データを再生する再生ステップとを有する映像音声記録再生方法であって、
前記再生ステップが、前記記録ステップで記録された前記映像音声データの任意の位置を再生しているときに、再生位置が新たに前記CM区間判定ステップでコマーシャルメッセージ区間内であると判定された場合には、前記再生位置から最初の変移点で再生を中断し、前記CM区間判定ステップで次にコマーシャルメッセージ区間でないと判定される区間から再生を再開することを特徴とする映像音声記録再生方法。 A recording step for recording video and audio data;
A transition point detecting step of detecting a predetermined transition point of the video and audio data;
Based on the CM pattern length set in advance as the commercial message pattern and the CM end time length set as the length that the commercial message pattern is not likely to continue, the transition point detected in the transition point detection step; A CM section determination step for determining whether or not the interval from the transition point is a commercial message section;
And a playback step of playing back the video / audio data recorded in the recording step without playing back the commercial message section based on the determination result relating to the commercial message section in the CM section determination step. And
When the playback step is playing back an arbitrary position of the video / audio data recorded in the recording step, the playback position is newly determined to be within the commercial message section in the CM section determination step The video / audio recording / reproducing method is characterized in that the reproduction is interrupted at the first transition point from the reproduction position, and the reproduction is resumed from the section determined not to be the commercial message section in the CM section determination step.
前記映像音声データの所定の変移点を検出する変移点検出ステップと、
予めコマーシャルメッセージパターンとして設定されたCMパターン長、及び、コマーシャルメッセージパターンが連続する可能性のない長さとして設定されたCM終了時間長に基づいて、前記変移点検出ステップで検出された変移点と変移点との間隔がコマーシャルメッセージ区間であるか否かを判定するCM区間判定ステップと、
前記CM区間判定ステップのコマーシャルメッセージ区間に係る判定結果に基づいて、コマーシャルメッセージ区間を再生することなく前記記録ステップで記録された映像音声データを再生する再生ステップとを有する映像音声記録再生方法であって、
前記変移点検出ステップで検出された最新の変移点からの経過時間が、前記設定値の最大値より大きく、かつ、前記設定値のいずれの組み合わせとも一致しない位置に、疑似変移点を設定する疑似変移点発生ステップをさらに有し、
前記再生ステップが、前記記録ステップで記録された前記映像音声データの任意の位置からの再生を開始する場合には、前記CM区間判定ステップでは、前記最新の変移点と前記疑似変移点との間隔がコマーシャルメッセージ区間であるか否かについても判定し、前記再生ステップは、前記CM区間判定ステップで判定されたコマーシャルメッセージ区間に係る判定結果に基づいて、コマーシャルメッセージ区間を再生することなく前記記録ステップで記録された映像音声データを再生することを特徴とする映像音声記録再生方法。 A recording step for recording video and audio data;
A transition point detecting step of detecting a predetermined transition point of the video and audio data;
Based on the CM pattern length set in advance as the commercial message pattern and the CM end time length set as the length that the commercial message pattern is not likely to continue, the transition point detected in the transition point detection step; A CM section determination step for determining whether or not the interval from the transition point is a commercial message section;
And a playback step of playing back the video / audio data recorded in the recording step without playing back the commercial message section based on the determination result relating to the commercial message section in the CM section determination step. And
A pseudo transition point is set at a position where the elapsed time from the latest transition point detected in the transition point detection step is larger than the maximum value of the set values and does not match any combination of the set values. A transition point generation step;
In the case where the reproduction step starts reproduction from an arbitrary position of the video / audio data recorded in the recording step, an interval between the latest transition point and the pseudo transition point is determined in the CM section determination step. Whether or not is a commercial message section, and the playback step includes the step of recording without reproducing the commercial message section based on the determination result related to the commercial message section determined in the CM section determination step. A video / audio recording / reproducing method comprising: reproducing the video / audio data recorded in step (1).
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010169474A JP5682167B2 (en) | 2010-07-28 | 2010-07-28 | Video / audio recording / reproducing apparatus and video / audio recording / reproducing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010169474A JP5682167B2 (en) | 2010-07-28 | 2010-07-28 | Video / audio recording / reproducing apparatus and video / audio recording / reproducing method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012034022A JP2012034022A (en) | 2012-02-16 |
JP2012034022A5 JP2012034022A5 (en) | 2013-08-15 |
JP5682167B2 true JP5682167B2 (en) | 2015-03-11 |
Family
ID=45846945
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010169474A Expired - Fee Related JP5682167B2 (en) | 2010-07-28 | 2010-07-28 | Video / audio recording / reproducing apparatus and video / audio recording / reproducing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5682167B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ES2683382T3 (en) * | 2012-03-13 | 2018-09-26 | Tivo Solutions Inc. | Automatic replay system |
CN116017048B (en) * | 2022-12-28 | 2024-06-04 | 北京奇艺世纪科技有限公司 | Method and device for identifying start position of tail, electronic equipment and storage medium |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4697371B2 (en) * | 2001-08-03 | 2011-06-08 | 日本電気株式会社 | Commercial detection method and apparatus |
JP2010141544A (en) * | 2008-12-11 | 2010-06-24 | Sony Corp | Recording/reproducing apparatus, recording/reproducing method, and program |
-
2010
- 2010-07-28 JP JP2010169474A patent/JP5682167B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012034022A (en) | 2012-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9226028B2 (en) | Method and system for altering the presentation of broadcast content | |
US8204366B2 (en) | Method, apparatus and program for recording and playing back content data, method, apparatus and program for playing back content data, and method, apparatus and program for recording content data | |
JP5322550B2 (en) | Program recommendation device | |
JP4615166B2 (en) | Video information summarizing apparatus, video information summarizing method, and video information summarizing program | |
JP4790776B2 (en) | Multiplexing device, multiplexing method, reproducing device, reproducing method, recording method, and reproducing system | |
US9020327B2 (en) | Method and system for altering the presentation of recorded content | |
JP3894940B2 (en) | Video / audio recording device | |
JP2009124298A (en) | Device and method for reproducing coded video image | |
JP4215681B2 (en) | Moving image processing apparatus and method | |
JP2010016652A (en) | Recording-reproducing device, recording-reproducing method, and program | |
JP4556752B2 (en) | Recording / playback apparatus having commercial viewing control function | |
JP5682167B2 (en) | Video / audio recording / reproducing apparatus and video / audio recording / reproducing method | |
JPWO2005124782A1 (en) | AV content processing apparatus, AV content processing method, AV content processing program, and integrated circuit used for AV content processing apparatus | |
JP2008020767A (en) | Recording and reproducing device and method, program, and recording medium | |
WO2003065715A1 (en) | Audio/video data recording/reproduction apparatus, system, and method, recording medium recorded by them, audio/video data reproduction apparatus, and data structure | |
JP5560999B2 (en) | Video / audio recording / reproducing apparatus and video / audio recording / reproducing method | |
JP4222844B2 (en) | Content processing device | |
JP4941128B2 (en) | Video processing device | |
JP5350037B2 (en) | Display control apparatus, control method thereof, and program | |
JP2009070525A (en) | Information processing device, method and program | |
JP5228623B2 (en) | Broadcast video reproduction method, system and apparatus | |
JP2009200567A (en) | Video recording and playback apparatus | |
JP2021052302A (en) | Picture reproduction device and picture reproduction method | |
JP2007048379A (en) | Program reproduction method | |
JP2011004197A (en) | Recording and reproducing apparatus and reproducing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130627 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140304 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140311 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20140326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140826 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141020 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141229 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5682167 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |