JP4193100B2 - 情報処理方法および情報処理装置、記録媒体、並びにプログラム - Google Patents
情報処理方法および情報処理装置、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4193100B2 JP4193100B2 JP2002253355A JP2002253355A JP4193100B2 JP 4193100 B2 JP4193100 B2 JP 4193100B2 JP 2002253355 A JP2002253355 A JP 2002253355A JP 2002253355 A JP2002253355 A JP 2002253355A JP 4193100 B2 JP4193100 B2 JP 4193100B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- data string
- information
- string
- recorded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000010365 information processing Effects 0.000 title claims description 48
- 238000003672 processing method Methods 0.000 title claims description 29
- 238000000034 method Methods 0.000 claims description 198
- 230000008569 process Effects 0.000 claims description 128
- 238000012545 processing Methods 0.000 claims description 92
- 238000003780 insertion Methods 0.000 claims description 54
- 230000037431 insertion Effects 0.000 claims description 54
- 230000008859 change Effects 0.000 claims description 10
- 238000000926 separation method Methods 0.000 claims description 9
- 238000013139 quantization Methods 0.000 description 185
- 238000010606 normalization Methods 0.000 description 90
- 238000001228 spectrum Methods 0.000 description 82
- 230000003595 spectral effect Effects 0.000 description 69
- 238000010586 diagram Methods 0.000 description 45
- 238000006243 chemical reaction Methods 0.000 description 37
- 230000006835 compression Effects 0.000 description 10
- 238000007906 compression Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 230000005236 sound signal Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000000354 decomposition reaction Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000002829 reductive effect Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000013478 data encryption standard Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000001172 regenerating effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【発明の属する技術分野】
本発明は、情報処理方法および情報処理装置、記録媒体、並びにプログラムに関し、特に、コンテンツの試聴データをユーザに配布する場合に用いて好適な、情報処理方法および情報処理装置、記録媒体、並びにプログラムに関する。
【0002】
【従来の技術】
例えば、インターネットなどの通信ネットワーク技術の普及、情報圧縮技術の向上、更に、情報記録媒体の高集積化、あるいは高密度化が進んだことなどにより、オーディオ、静止画像、動画像、あるいは、オーディオと動画像からなる例えば映画など、様々なマルチメディアデータから構成されるデジタルコンテンツが、通信ネットワークを介して、試聴者に有料で配信されるという販売形態が実施されるようになった。
【0003】
例えば、CD(Compact Disk)やMD(Mini-Disk)(商標)などのパッケージメディア、すなわち、デジタルコンテンツが予め記録された記録媒体を販売する店舗などは、例えば、音楽データをはじめとする多数のデジタルコンテンツが蓄積された、いわゆるMMK(Multi Media KIOSK)などの情報端末を設置することにより、パッケージメディアを販売するのみならず、デジタルコンテンツを販売することが可能である。
【0004】
ユーザは、MMKに、持参したMDなどの記録媒体を挿入し、メニュー画面などを参照して、購入したいデジタルコンテンツのタイトルを選択して、要求されるコンテンツの代金を支払う。代金の支払方法は、現金の投入であっても、電子マネーのやり取りであっても、あるいは、クレジットカードやプリペイドカードを用いた電子決済であっても良い。MMKは、所定の処理により、ユーザが挿入した記録媒体に、選択されたデジタルコンテンツデータを記録する。
【0005】
デジタルコンテンツの販売者は、上述したように、MMKを用いてデジタルコンテンツをユーザに販売する以外にも、例えば、インターネットを介して、デジタルコンテンツをユーザに配信することも可能である。
【0006】
このように、コンテンツが予め記録されたパッケージメディアを販売するのみならず、デジタルコンテンツそのものを販売する手法を取り入れることにより、更に効果的にコンテンツが流通されるようになった。
【0007】
著作権を保護しながら、デジタルコンテンツを流通させるために、例えば、特開平2001−103047、あるいは、特開平2001−325460などの技術を用いることにより、デジタルコンテンツの試聴可能な部分以外を暗号化して配信し、暗号化に対する復号鍵を購入したユーザにのみ、コンテンツ全ての試聴を許可するようにすることができる。暗号化の方法としては、例えば、PCM(Pulse Code Modulation)のデジタル音声データのビット列に対する鍵信号となる乱数系列の初期値を与え、発生した0/1の乱数系列と、配信するPCMデータとの排他的論理和を、暗号化されたビット列とする方法が知られている。このように暗号化されたデジタルコンテンツが、例えば、上述したMMKなどを用いて記録媒体に記録されたり、ネットワークを介して配信されることにより、ユーザに配布される。暗号化されたデジタルコンテンツデータを取得したユーザは、鍵を手に入れなければ、暗号化されていない試聴可能な部分しか試聴することができず、暗号化されている部分を復号せずに再生しても、雑音しか試聴することができない。
【0008】
また、音声データなどを圧縮して放送したり、ネットワークを介して配信したり、圧縮されたデータを、例えば光磁気ディスクなどの、様々な形態の記録媒体に記録する技術も向上している。
【0009】
音声データの高能率符号化には、様々な方法があるが、例えば、時間軸上のオーディオ信号をブロック化せず、複数の周波数帯域に分割して符号化する帯域分割符号化(SBC(Sub Band Coding))や、時間軸上の信号を周波数軸上の信号にスペクトル変換して、複数の周波数帯域に分割し、帯域毎に符号化するブロック化周波数帯域分割方式(いわゆる、変換符号化)などがある。また、帯域分割符号化で帯域分割を行った後、各帯域において、信号を周波数軸上の信号にスペクトル変換し、スペクトル変換された帯域毎に符号化を施す手法も考えられている。
【0010】
ここで利用されるフィルタには、例えば、QMF(Quadrature Mirror Filter)があり、QMFについては、R. E. Crochiereによる"Digital coding of speech in subbands"(Bell Syst. Tech. J. Vol.55,No.8 1974)の文献に記載されている。また、Joseph H. Rothweilerによる"Polyphase Quadrature Fitters-A new subband coding technique"(ICASSP 83, BOSTON)などの文献には、等しいバンド幅のフィルタ分割手法について記載されている。
【0011】
また、上述したスペクトル変換としては、例えば、入力オーディオ信号を所定の単位時間(フレーム)でブロック化し、そのブロック毎に、離散フーリエ変換(DFT;Discrete Fourier Transform)、離散コサイン変換(DCT;Discrete Cosine Transform)、モデファイドDCT変換(MDCT;modified Discrete Cosine Transform)などを行う方法がある。例えば、MDCTについての詳細は、J. P. Princen, A. B. Bradley(Univ. of Surrey Royal Melbourne Inst. of Tech.)らによる"Subband / Transform Cording Using Filter Bank Designs Based on Time Domain Aliasing Cancellation"(ICASSP 1987)の論文に述べられている。
【0012】
また、波形信号をスペクトル変換する方法として、上述したDFTやDCTが用いられた場合、M個のサンプルからなる時間ブロックで変換を行うと、M個の独立した実数データが得られる。時間ブロック間の接続ひずみを軽減するために、通常、両隣のブロックと、それぞれN/2個ずつ、すなわち、両側合わせてN個のサンプルをオーバーラップさせるので、DFTやDCTにおいては、平均して、(M+N)個のサンプルに対して、独立したM個の実数データを量子化して符号化することになる。
【0013】
これに対して、スペクトル変換する方法として、上述したMDCTが用いられた場合には、M個のサンプルからなる時間ブロックで変換を行うと、両隣のブロックとそれぞれM/2個ずつ、すなわち、両側合わせてM個オーバーラップさせた2M個のサンプルから、M個の独立した実数データが得られるので、MDCTでは、平均して、M個のサンプルに対して、M個の実数データを、量子化して符号化することになる。
【0014】
復号装置においては、MDCTを用いて得られた符号から、各ブロックを逆変換して得られた波形要素を、お互いに干渉させながら加え合わせることにより、波形信号を再構成することができる。
【0015】
一般に、変換のための時間ブロックを長くすることによって、スペクトルの周波数分解能が高まり、特定のスペクトル成分にエネルギが集中する。従って、両隣のブロックと半分ずつオーバーラップさせることにより、長いブロック長で変換を行い、しかも、得られたスペクトル信号の個数が、基となった時間サンプルの個数に対して増加しないMDCTを用いて変換を施すことにより、変換にDFTやDCTを用いた場合より、効率よく符号化を行うことができる。また、隣接するブロック同士に十分長いオーバーラップを持たせることにより、波形信号のブロック間歪みを軽減することができる。
【0016】
上述したように、フィルタリングやスペクトル変換によって、帯域毎に分割された信号を量子化することにより、量子化雑音が発生する帯域を制御することができ、マスキング効果などの性質を利用して、聴覚的に、より高能率な符号化を行うことができる。また、量子化を行う前に、帯域毎に、例えば、その帯域における信号成分の絶対値の最大値で正規化を行うようにすることにより、更に、高能率な符号化を行うことができる。
【0017】
周波数帯域分割された各周波数成分を量子化する場合、例えば、人間の聴覚特性を考慮して、周波数分割幅が決定されるようにしても良い。すなわち、一般に臨界帯域(クリティカルバンド)と称される高域ほど帯域幅が広くなるように、オーディオ信号が複数の帯域(例えば、25バンド)に分割されるようにしても良い。
【0018】
また、クリティカルバンドが広くなるように帯域が分割されている場合に、帯域毎のデータが符号化されるとき、帯域毎に所定のビット配分が行われるようにしても良いし、帯域毎に適応的にビットが割り当てられる(ビットアロケーションが行われる)ようにしても良い。
【0019】
例えば、MDCTされて得られた係数データが、ビットアロケーションによって符号化される場合、ブロック毎のMDCTにより得られる帯域毎のMDCT係数データに対して、それぞれ、適応的にビット数が割り当てられて、符号化が行われる。ビット割当て手法としては、例えば、次にあげる2つの手法が知られている。
【0020】
R. Zelinski, P. Nollらによる、"Adaptive Transform Coding of Speech Signals"(IEEE Transactions of Acoustics, Speech, and Signal Processing, Vol. ASSP-25, No. 4, August 1977)の論文では、帯域毎の信号の大きさを基に、ビット割り当てが行われることについて述べられている。この方式によると、量子化雑音スペクトルが平坦となり、雑音エネルギは最小となるが、聴覚的に考慮した場合、マスキング効果が利用されていないため、人間の耳に実際聞こえる雑音を減少する点では最適ではない。
【0021】
また、M. A. Kransner(Massachusetts Institute of Technology)による、"The critical band coder digital encoding of the perceptual requirements of the auditory system"(ICASSP 1980)の論文には、聴覚マスキングを利用することで、各帯域毎に必要な信号対雑音比を得て、固定的なビット割り当てを行う手法が記載されている。しかしながら、この手法では、サイン波入力で特性を測定する場合においても、ビット割当てが固定的であるために、その特性値は、それほど良い値とはならない。
【0022】
これらの問題を解決するために、ビット割り当てに使用できる全ビットが、小ブロック毎に予め定められた固定ビット割り当てパターン分と、各ブロックの信号の大きさに依存したビット割り当てを行う分とに分割使用され、その分割比が、入力信号に関係する信号に依存され、その信号のスペクトルが滑らかなほど、固定ビット割り当てパターン分への分割比率が大きくされるようになされている高能率符号化装置が提案されている。
【0023】
この方法を用いることにより、サイン波入力のように、特定のスペクトルにエネルギが集中する場合には、そのスペクトルを含むブロックに多くのビット数を割り当てることができるので、全体的な信号対雑音特性を著しく改善することができる。一般的に、急峻なスペクトル成分を持つ信号に対する人間の聴覚は、極めて敏感であるため、このような方法を用いて信号対雑音特性を改善することは、測定上の特性値のみならず、人間が実際に聞く音の音質を改善するのに有効である。
【0024】
ビット割当ての方法には、上述した以外にも、多くの方法が提案されている。更に、聴覚に関するモデルが精緻化され、符号化装置の能力が向上したことにより、測定上の特性値のみならず、人間の聴覚に対してより高能率な符号化を行うことが可能となっている。これらの方法においては、計算によって求められた信号対雑音特性を、なるべく忠実に実現するような実数のビット割当て基準値が求められ、それを近似する整数値が求められて、割当てビット数に設定されるのが一般的である。
【0025】
また、本発明者が先に出願した、特願平5−152865、もしくは、WO94/28633には、生成されたスペクトル信号から、聴覚上、特に重要なトーン性の成分、すなわち、特定の周波数周辺にエネルギが集中しているような成分を分離して、他のスペクトル成分とは別に符号化する方法について記載されている。この方法により、オーディオ信号などを、聴覚上の劣化を殆ど感じさせずに、高い圧縮率で効果的に符号化することが可能となっている。
【0026】
実際の符号列を生成する場合、まず、正規化および量子化が行われる帯域毎に、量子化精度情報および正規化係数情報が、所定のビット数で符号化され、次に、正規化、および量子化されたスペクトル信号が符号化される。また、ISO/IEC 11172-3; (1993(E), a933)では、帯域によって量子化精度情報を表すビット数が異なるように設定された高能率符号化方式が記述されており、帯域が高域になるにともなって、量子化精度情報を表すビット数が少なくなるように規格化されている。
【0027】
量子化精度情報を直接符号化する代わりに、復号装置において、例えば、正規化係数情報から量子化精度情報を決定する方法も知られているが、この方法では、規格を設定した時点で、正規化係数情報と、量子化精度情報との関係が決まってしまうので、将来的に、更に高度な聴覚モデルに基づいた量子化精度を用いる制御を導入することができなくなってしまう。また、実現する圧縮率に幅がある場合には、圧縮率毎に正規化係数情報と量子化精度情報との関係を定める必要が生じてしまう。
【0028】
量子化されたスペクトル信号を、より効率的に符号化する方法として、例えば、D. A. Huffmanによる"A Method for Construction of Minimum Redundancy Codes"(Proc. I. R. E. , 40, p.1098, 1952)の論文に記載されている可変長符号を用いて効率的に符号化を行う方法も知られている。
【0029】
以上説明したような方法で符号化されたコンテンツデータを、PCM信号の場合と同様にして暗号化して配布することも可能であり、このようなコンテンツ保護方法が用いられた場合には、鍵信号を入手していないものは、元の信号を再生することが出来ない。また、符号化ビット列を暗号化するのではなく、PCM信号をランダム信号に変換した後、圧縮のために符号化を行う方法もあるが、このコンテンツ保護方法が用いられた場合には、鍵信号を入手していないものは、雑音しか再生することが出来ない。
【0030】
また、コンテンツデータの試聴データを配布することにより、コンテンツデータの販売を促進することができる。試聴データには、例えば、オリジナルデータよりも低音質で再生されるデータや、オリジナルデータのうちの一部(例えば、さびの部分のみ)などを再生することが出来るデータなどがある。コンテンツデータの利用者は、試聴データを再生して、気に入った場合に、暗号を復号する鍵を購入して、オリジナルの音声を再生することができるようにしたり、オリジナルの音声データをダウンロードしたり、オリジナルの音声データが記録された記録媒体を新たに購入しようとする。
【0031】
しかしながら、上述したコンテンツ保護方法では、データ全体が再生できないか、もしくは、全てが雑音として再生されるので、例えば、比較的低音質で音声を録音した記録媒体を、試聴データとして配布するという用途に利用することが出来なかった。これらの方法によりスクランブルされたデータをユーザに配布しても、ユーザは、そのデータの全体の概要を把握することができない。
【0032】
また、従来の方法では、高能率符号化を施した信号を暗号化する場合に、通常、広く用いられている再生装置にとって、意味のある符号列を与えながら、その圧縮効率を下げないようにすることは非常に困難であった。すなわち、上述したように、高能率符号化を施すことによって生成された符号列にスクランブルをかけた場合、その符号列をデスクランブルしないまま再生しても、雑音が発生するばかりではなく、スクランブルによって生成された符号列が、元となる高能率符号の規格に適合していない場合には、再生処理が全く実行できない可能性がある。
【0033】
また、逆に、PCM信号にスクランブルをかけた後に高能率符号化が施された場合、例えば、聴覚の性質を利用して情報量を削ると、不可逆符号化となってしまう。従って、このような高能率符号を復号しても、PCM信号にスクランブルをかけた信号が正しく再現できない。すなわち、このような信号は、デスクランブルを正しく行うことが非常に困難なものとなってしまう。
【0034】
従って、たとえ、圧縮の効率が下がってしまっても、スクランブルが正しく解除できる方法が選択されてきた。
【0035】
このような課題に対して、本発明者等は、特開平10−135944において、例えば、音楽データをスペクトル信号に変換して符号化したもののうち、高帯域に対応する符号のみが暗号化されたデータを、試聴データとして配布することにより、鍵を保有していないユーザであっても、暗号化されていない狭帯域の信号を復号して再生することができるオーディオ符号化方式について開示した。この方式においては、高域側の符号が暗号化されるとともに、高域側のビット割当て情報が、ダミーデータに置き換えられ、高域側の真のビット割当て情報が、再生処理を行うデコーダが再生処理時に情報を読み取らない(無視する)位置に記録されるようになされている。
【0036】
この方式を採用することにより、コンテンツデータの利用者は、試聴データの配布を受けて、試聴データを再生し、試聴の結果、気に入った試聴データをオリジナルデータに復号するための鍵を有償で購入して、所望の音楽などを全ての帯域で正しく再生して、高音質で楽しむことが可能となる。
【0037】
【発明が解決しようとする課題】
特開平10−135944号公報において開示されている技術では、鍵を保有していないユーザは、無償で配布されるデータの狭帯域の信号しか復号されないようになされている。しかしながら、その安全性は、暗号化にのみ依存されているため、暗号が解読されてしまった場合、ユーザは、料金を支払うことなく、高音質の音楽を再生することが可能となるので、音楽データの配信者(コンテンツ提供者)は、正当に料金を徴収することができない。
【0038】
また、コンテンツ提供者は、試聴データとして、コンテンツ全体にわたって品質を制限したものではなく、コンテンツの一部、あるいは数箇所のみ、品質を制限して、試聴を可能とし、他の部分は、品質を制限したデータであっても、試聴することができないようにしたい場合がある。
【0039】
例えば、試聴データを無償で配布するにあたって、その楽曲の数10秒のみを再生可能として、ユーザが試聴することが可能なようにしたい場合、そのコンテンツのうちの試聴可能な数十秒間以外は、ユーザにより再生することができないようにしなければならない。そのため、ユーザは、その予め決められた短い部分のみを試聴することにより、コンテンツ全体を購入するか否かを決めなければならなかった。すなわち、このような試聴用データは、ユーザに、購買意欲を湧かせるのに充分であるとはいえない場合があった。
【0040】
本発明はこのような状況に鑑みてなされたものであり、コンテンツデータの試聴データを配布する場合において、所定の時間内であれば、コンテンツデータのうちのいろいろな部分を試聴することができるようにし、更に、データ容量の小さなデータを用いてこのような試聴データをオリジナルデータに復元することができるようにするものである。
【0041】
【課題を解決するための手段】
本発明の第1の情報処理方法は、所定の条件を基に、第2のデータ列から、第3のデータ列を生成する生成ステップと、第3のデータ列の再生または記録を制御する第1の制御ステップとを含み、第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有し、生成ステップの処理では、所定の条件を基に、第2のデータ列から、再生または記録することが可能なように再配置して、第3のデータ列を生成することを特徴とする。
【0042】
所定の条件は、第1の制御ステップの処理により制御される再生の時間または記録の時間に関する条件を含むものとすることができる。
【0043】
生成ステップの処理では、第1の制御ステップの処理により、第3のデータ列のランダムな箇所の再生または記録が制御されるように、第3のデータ列を生成させるようにすることができる。
【0044】
第2のデータ列は、複数のフレームから構成されるものとすることができ、その状態においてデータを再生または記録することができないようなデータ配置を有する第1のフレームを含ませるようにすることができ、生成ステップの処理では、第2のデータ列の第1のフレームのうち、第2のフレームを選択して、第2のフレーム内のデータを、再生または記録することが可能なように再配置させるようにすることができる。
【0047】
所定の条件には、第1の制御ステップの処理により制御される再生または記録の開始位置に関する情報を含ませるようにすることができる。
【0048】
所定の条件を示す情報の記憶を制御する記憶制御ステップを更に含ませるようにすることができる。
【0049】
第2のデータ列より、所定の条件を示す情報の取得を制御する取得制御ステップを更に含ませるようにすることができる。
【0050】
第2のデータ列から第1のデータ列を復元する場合に必要な情報を含む第4のデータ列の取得を制御する取得制御ステップと、取得制御ステップの処理により取得が制御された第4のデータ列を基に、第2のデータ列から第1のデータ列を復元する復元ステップと、復元ステップの処理により復元された第1のデータ列の再生または記録を制御する第2の制御ステップとを更に含ませるようにすることができる。
【0061】
第3のデータ列を復号する復号ステップを更に含ませるようにすることができ、第1の制御ステップの処理では、復号ステップの処理により復号された第3のデータ列の再生または記録を制御させるようにすることができ、第2のデータ列は、符号化されたデータ列であるものとすることができる。
【0062】
本発明の第1の情報処理装置は、所定の条件を基に、第2のデータ列から、第3のデータ列を生成する生成手段と、第3のデータ列の再生または記録を制御する制御手段とを備え、前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有し、前記生成手段は、前記所定の条件を基に、前記第2のデータ列から、再生または記録することが可能なように再配置して、前記第3のデータ列を生成することを特徴とする。
【0063】
所定の条件を記憶する記憶手段を更に備えさせるようにすることができる。
【0064】
本発明の第1の記録媒体に記録されているプログラムは、所定の条件を基に、第2のデータ列から、第3のデータ列を生成する生成ステップと、第3のデータ列の再生または記録を制御する制御ステップとを含み、前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有し、前記生成ステップの処理では、前記所定の条件を基に、前記第2のデータ列から、再生または記録することが可能なように再配置して、前記第3のデータ列を生成することを特徴とする。
【0065】
本発明の第1のプログラムは、所定の条件を基に、第2のデータ列から、第3のデータ列を生成する生成ステップと、第3のデータ列の再生または記録を制御する制御ステップとを含み、前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有し、前記生成ステップの処理では、前記所定の条件を基に、前記第2のデータ列から、再生または記録することが可能なように再配置して、前記第3のデータ列を生成することを特徴とする。
【0066】
本発明の第2の情報処理方法は、第1のデータ列に含まれている第1のデータを第2のデータに置き換えて、第3のデータ列を生成する第1の置き換えステップと、第1の置き換えステップの処理により生成された第3のデータ列に含まれる第3のデータの配置を変更する変更ステップと、変更ステップの処理により第3のデータの配置が変更された第3のデータ列に、第2のデータ列が再生または記録される場合の条件を示す情報を挿入する挿入ステップと、挿入ステップの処理により、条件を示す情報が挿入された第3のデータ列を基に、第2のデータ列を生成する第1の生成ステップとを含み、変更ステップの処理では、第3のデータ列の第1の領域に記録されている第3のデータを第2の領域に移動し、前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有することを特徴とする。
【0067】
第1の領域は、第1の生成ステップの処理により生成される第2のデータ列が再生または記録される場合に参照される領域に対応する、第3のデータ列内の領域であるものとすることができ、第2の領域は、第1の生成ステップの処理により生成される第2のデータ列が再生または記録される場合に参照されない領域に対応する、第3のデータ列内の領域であるものとすることができる。
【0070】
第1のデータ列、第2のデータ列、および第3のデータ列は、それぞれ複数のフレームにより構成されるものとすることができ、挿入ステップの処理では、第3のデータ列の複数のフレームのうちの少なくとも1つに、条件を示す情報を挿入させるようにすることができ、第1の生成ステップの処理により生成される第2のデータ列を構成するフレームは、挿入ステップの処理により、条件を示す情報が挿入されているか否かを示す情報を含むものとすることができる。
【0071】
挿入ステップの処理により第3のデータ列に挿入される、条件を示す情報には、第2のデータ列が再生または記録される場合の再生時間または記録時間に関する条件を含ませるようにすることができる。
【0072】
挿入ステップの処理により第3のデータ列に挿入される、所定の条件を示す情報には、第2のデータ列が再生または記録される場合の開始位置に関する情報を含ませるようにすることができる。
【0073】
第1のデータ列から、第1のデータ、および第3のデータとは異なる第4のデータを分離する分離ステップを更に含ませるようにすることができる。
【0076】
第1の生成ステップの処理により生成された第2のデータ列を第1のデータ列に復元するために必要な第4のデータ列を生成する第2の生成ステップを更に含ませるようにすることができ、第2の生成ステップの処理により生成される第4のデータ列には、第1の置き換えステップの処理により第2のデータに置き換えられた第1のデータを含ませるようにすることができる。
【0078】
入力されたデータを符号化する符号化ステップを更に含ませるようにすることができ、第1の置き換えステップの処理では、符号化ステップの処理により符号化された符号化データを第1のデータ列として、第1のデータ列に含まれている第1のデータを第2のデータと置き換えさせるようにすることができる。
【0082】
第1のデータ列に含まれている第1のデータとは異なる第4のデータを、第5のデータに置き換える第2の置き換えステップを更に含ませるようにすることができ、第5のデータは、第2のデータが再生または記録される場合に参照されないデータに対応するものであるものとすることができ、変更ステップの処理では、第2の置き換えステップの処理により第4のデータが第5のデータに置き換えられた第3のデータ列に含まれる第3のデータの配置を変更させるようにすることができる。
【0087】
本発明の第2の情報処理装置は、第1のデータ列に含まれている第1のデータを第2のデータに置き換えて、第3のデータ列を生成する置き換え手段と、置き換え手段により生成された第3のデータ列に含まれる第3のデータの配置を変更する変更手段と、変更手段により第3のデータの配置が変更された第3のデータ列に、第2のデータ列が再生または記録される場合の条件を示す情報を挿入する挿入手段と、挿入手段により、条件を示す情報が挿入された第3のデータ列を基に、第2のデータ列を生成する生成手段とを備え、変更手段は、第3のデータ列の第1の領域に記録されている第3のデータを第2の領域に移動し、前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有することを特徴とする。
【0088】
本発明の第2の記録媒体に記録されているプログラムは、第1のデータ列に含まれている第1のデータを第2のデータに置き換えて、第3のデータ列を生成する置き換えステップと、置き換えステップの処理により生成された第3のデータ列に含まれる第3のデータの配置を変更する変更ステップと、変更ステップの処理により第3のデータの配置が変更された第3のデータ列に、第2のデータ列が再生または記録される場合の条件を示す情報を挿入する挿入ステップと、挿入ステップの処理により、条件を示す情報が挿入された第3のデータ列を基に、第2のデータ列を生成する生成ステップとを含み、変更ステップの処理では、第3のデータ列の第1の領域に記録されている第3のデータを第2の領域に移動し、前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有することを特徴とする。
【0089】
本発明の第2のプログラムは、第1のデータ列に含まれている第1のデータを第2のデータに置き換えて、第3のデータ列を生成する置き換えステップと、置き換えステップの処理により生成された第3のデータ列に含まれる第3のデータの配置を変更する変更ステップと、変更ステップの処理により第3のデータの配置が変更された第3のデータ列に、第2のデータ列が再生または記録される場合の条件を示す情報を挿入する挿入ステップと、挿入ステップの処理により、条件を示す情報が挿入された第3のデータ列を基に、第2のデータ列を生成する生成ステップとを含み、変更ステップの処理では、第3のデータ列の第1の領域に記録されている第3のデータを第2の領域に移動し、前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有することを特徴とする。
【0090】
本発明の第1の情報処理方法および情報処理装置、並びにプログラムにおいては、所定の条件を基に、第2のデータ列から、第3のデータ列が生成され、第3のデータ列の再生または記録が制御される。第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有し、第3のデータ列の生成は、所定の条件を基に、第2のデータ列から、再生または記録することが可能なように再配置することで行われる。
【0091】
本発明の第2の情報処理方法および情報処理装置、並びにプログラムにおいては、第1のデータ列に含まれている第1のデータが第2のデータに置き換えられて、第3のデータ列が生成され、第3のデータ列の第1の領域に記録されている第3のデータが第2の領域に移動されて、第3のデータの配置が変更され、第3のデータの配置が変更された第3のデータ列に、第2のデータ列が再生または記録される場合の条件を示す情報が挿入され、条件を示す情報が挿入された第3のデータ列を基に、第2のデータ列が生成される。この場合において、第3のデータ列の第1の領域に記録されている第3のデータが第2の領域に移動され、前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有するものとされる。
【0092】
【発明の実施の形態】
(第1実施形態)
まず、第1実施形態について説明する。
【0093】
以下、図を参照して、本発明の実施の形態について説明する。
【0094】
ここでは、オーディオPCM信号などのデジタル信号の入力を受け、帯域分割符号化(SBC:Sub Band Coding)、適応変換符号化(ATC:Adaptive Transform cording)および、適応ビット割当てを行うことにより、高能率符号化を行う場合について説明する。適応変換符号化とは、離散コサイン変換(DCT:Discrete Cosine Transform)などをベースに、ビット配分を適応化した符号化方法であり、入力信号を時間ブロック毎にスペクトル信号に変換し、所定の帯域毎に、各スペクトル信号をまとめて正規化、すなわち、最大信号成分を近似する正規化係数で、各信号成分を除算してから、信号の性質によって適時定められた量子化精度で量子化して符号化するものである。
【0095】
図1は、本発明を適応した符号化装置、データ再生装置、およびデータ記録装置によるデータ授受システムを説明するための図である。
【0096】
サーバ2は、符号化装置4によって符号化された、コンテンツの試聴用のデータ、または、試聴用データに加えることによってオリジナルデータを生成することができる追加データを、ネットワーク1を介して、クライアント3−1乃至クライアント3−4に送出する。符号化装置4の詳細な構成については、後述する。符号化装置4によって生成される試聴用データは、従来の、例えば、ATRAC3などの音声データを記録再生することができる記録再生装置などでは、記録、または再生することができないようになされており、後述するデータ再生装置5によってのみ再生可能であり、後述するデータ記録装置7によってのみ記録可能である。
【0097】
クライアント3−1は、後述するデータ再生装置5を有し、ネットワーク1を介して、試聴データの供給を受け、所定の処理を施すことにより再生したり、追加データの供給を受け、試聴データと追加データからオリジナルデータを生成して再生することができる。一方、クライアント3−2が有するデータ再生装置6は、従来の、ATRAC3などの音声データを再生することができる従来の装置である。データ再生装置6は、オリジナルデータを再生することは可能であるが、試聴データを再生することはできない。
【0098】
また、クライアント3−3は、後述するデータ記録装置7を有し、ネットワーク1を介して、試聴データの供給を受け、所定の処理を施すことにより、例えば、光磁気ディスクなどの記録媒体に記録したり、追加データの供給を受け、試聴データと追加データからオリジナルデータを生成して記録することができる。一方、クライアント3−4が有するデータ記録装置8は、例えば、ATRAC3などの音声データを記録することができる従来の装置である。データ記録装置8は、オリジナルデータを記録することは可能であるが、試聴データを記録したり、追加データの供給を受け、試聴データと追加データからオリジナルデータを生成して記録することはできない。
【0099】
ここでは、クライアント3−1乃至クライアント3−4が、それぞれ、データ再生装置、または、データ記録装置を有しているものとして説明したが、クライアントは、データ再生装置とデータ記録装置の双方を有していても良い。クライアントが、データ再生装置5とデータ記録装置7を備えている場合、ネットワーク1を介して、サーバ2より供給された試聴データを再生、または記録したり、追加データの供給を受け、試聴データと追加データからオリジナルデータを生成して再生、または記録することが可能となる。
【0100】
図2は、音響波形信号の入力を受けて、試聴データを作成する符号化装置4の構成例を示すブロック図である。
【0101】
変換部11は、音響波形信号の入力を受けて、信号周波数成分に変換し、信号成分符号化部12に出力する。信号成分符号化部12は、入力された信号周波数成分を符号化し、符号列生成部13に出力する。符号列生成部13は、信号成分符号化部12により符号化された信号周波数成分から符号列を生成し、試聴データ生成部14に出力する。試聴データ生成部14は、符号列生成部13から入力された符号列に対して、正規化係数情報などの再配置、試聴時間情報の挿入などの所定の処理を行って、高音質で再生可能な音声データ(オリジナルデータ)を、試聴データに変換するとともに、オリジナルデータの再生を希望するユーザに対して販売される、試聴データに対応する追加データ(復元用データ)を生成して出力する。
【0102】
図3は、変換部11の更に詳細な構成を示すブロック図である。
【0103】
変換部11に入力された音響波形信号は、帯域分割フィルタ21によって2つの帯域に分割され、それぞれの信号が、順スペクトル変換部22−1および22−2に出力される。順スペクトル変換部22−1および22−2は、例えばMDCT(Modified Discrete Cosine Transform)などを用いて、入力された信号を、スペクトル信号成分に変換して信号成分符号化部12に出力する。順スペクトル変換部22−1および22−2に入力される信号は、帯域分割フィルタ21に入力される信号の帯域幅の1/2であり、信号の入力も、それぞれ1/2に間引かれている。
【0104】
図3の変換部11においては、帯域分割フィルタ21によって2つの帯域に分割された信号が、MDCTを用いてスペクトル信号成分に変換されるものとして説明したが、入力された信号をスペクトル信号成分に変換する方法は、いずれの方法を用いるようにしても良く、例えば、入力された信号を帯域分割せずに、MDCTを用いてスペクトル信号成分に変換するようにしても良い。あるいは、順スペクトル変換部22−1および22−2は、DCTやDFT(Discrete Fourier Transform)を用いて、入力された信号をスペクトル信号に変換するようにしても良い。
【0105】
いわゆる帯域分割フィルタを用いることにより、入力された信号を帯域成分に分割することも可能であるが、多数の周波数成分を比較的少ない演算量で演算することが可能な、MDCT、DCT、あるいは、DFCを用いてスペクトル変換を行うと好適である。
【0106】
また、図3においては、入力された音響波形信号が帯域分割フィルタ21において、2つの帯域に分割されるものとして説明したが、帯域分割数は、2つでなくてもかまわないことは言うまでもない。帯域分割フィルタ21における帯域分割数を示す情報は、信号成分符号化部12を介して、符号列生成部13に出力される。
【0107】
図4は、変換部11によって得られるMDCTによるスペクトル信号の絶対値を、パワーレベルに変換して示した図である。変換部11に入力された音響波形信号は、所定の時間ブロック毎に、例えば、64個のスペクトル信号に変換される。これらのスペクトル信号は、信号成分符号化部12によって、後述する処理により、例えば、図中の実線でかこまれた16個の枠組みで示されるように、[1]乃至[16]の、16個の帯域に分けられ、それぞれの帯域毎に量子化および正規化が行われる。この16個の帯域に分けられたスペクトル信号の集合、すなわち、量子化および正規化を行うスペクトル信号の集合が、量子化ユニットである。
【0108】
周波数成分の分布の仕方に基づいて、量子化精度を量子化ユニット毎に変化させることにより、人間に聞こえる音の質の劣化を最小限にとどめることが出来る効率の良い符号化が可能となる。
【0109】
図5は、信号成分符号化部12の更に詳細な構成を示すブロック図である。ここでは、周波数成分符号化部12は、入力されたスペクトル信号から、聴感上、特に重要なトーン部分、すなわち、特定の周波数周辺にエネルギが集中している信号成分を分離して、他のスペクトル成分とは別に符号化を行うようになされている場合について説明する。
【0110】
変換部11から入力されたスペクトル信号は、トーン成分分離部31により、トーン成分と、非トーン成分に分離され、トーン成分は、トーン成分符号化部32に出力され、非トーン成分は、非トーン成分符号化部33に出力される。
【0111】
図6を用いて、トーン成分と非トーン成分について説明する。例えば、トーン成分分離部31に入力されたスペクトル信号が、図6のような信号である場合、特にパワーレベルが高い部分が、トーン成分41乃至43として、非トーン成分から分離される。なお、分離されたトーン成分41乃至43の位置を示す位置データP1乃至P3、およびトーン成分として抜き出された周波数の幅がそれぞれ検出されて、トーン成分とともに、トーン成分符号化部32に出力される。
【0112】
トーン成分の分離方法は、例えば、本発明者が先に出願した、特願平5−152865号公報、WO94/28633、もしくは、米国特許5717821などに記載の方法を用いればよい。この方法により分離されたトーン成分および非トーン成分は、後述するトーン成分符号化部32および非トーン成分符号化部33の処理により、それぞれ、異なるビット数で量子化される。
【0113】
トーン成分符号化部32および非トーン成分符号化部33は、入力された信号を、それぞれ符号化するが、トーン成分符号化部32は、トーン成分に対して、量子化ビット数を大きく、すなわち、量子化精度を高くして量子化を行い、非トーン成分符号化部33は、非トーン成分に対して、量子化ビット数を小さく、すなわち、量子化精度を低くして量子化を行う。
【0114】
各トーン成分に関しては、トーン成分の位置情報や、トーン成分として抜き出された周波数の幅などの情報を新たに付け加える必要があるが、非トーン成分のスペクトル信号を少ないビット数で量子化することが可能となる。特に、符号化装置4に入力された音響波形信号が、特定のスペクトルにエネルギが集中するような信号である場合には、このような方法を取ることにより、聴覚上の劣化を殆ど感じさせずに、高い圧縮率で効果的に符号化することが可能である。
【0115】
図7は、図5のトーン成分符号化部32の更に詳細な構成を示すブロック図である。
【0116】
正規化部51は、量子化ユニット毎にトーン成分のスペクトル信号の入力を受けて、正規化を行い、量子化部52に出力する。量子化精度決定部53は、入力された量子化ユニットを参照して、量子化精度を計算し、計算結果を量子化部52に出力する。入力される量子化ユニットは、トーン成分であるから、量子化精度決定部53は、量子化精度が高くなるように量子化精度を計算する。量子化部52は、正規化部51から入力された正規化結果を、量子化精度決定部53により決定された量子化精度で量子化して、符号を生成するとともに、生成された符号に加えて、正規化係数情報や量子化精度情報などの、符号化情報を出力する。
【0117】
また、トーン成分符号化部32は、トーン成分とともに入力されたトーン成分の位置情報なども、トーン成分とともに符号化して出力する。
【0118】
図8は、図5の非トーン成分符号化部33の更に詳細な構成を示すブロック図である。
【0119】
正規化部54は、量子化ユニット毎に非トーン成分のスペクトル信号の入力を受けて、正規化を行い、量子化部55に出力する。量子化精度決定部56は、入力された量子化ユニットを参照して、量子化精度を計算し、計算結果を量子化部55に出力する。入力される量子化ユニットは、非トーン成分であるから、量子化精度決定部56は、量子化精度が低くなるように量子化精度を計算する。量子化部55は、正規化部54から入力された正規化結果を、量子化精度決定部56により決定された量子化精度で量子化して、符号を生成するとともに、生成された符号に加えて、正規化係数情報や量子化精度情報などの、符号化情報を出力する。
【0120】
上述した符号化方法に対して、更に符号化効率を高めることが可能である。例えば、可変長符号化を行い、量子化されたスペクトル信号のうち、頻度の高いものに対しては、比較的短い符号長を割り当て、頻度の低いものに対しては、比較的長い符号長を割り当てることにより、符号化効率を更に高めることが出来る。
【0121】
そして、図2の符号列生成部13は、信号成分符号化部12により出力された信号周波数成分の符号から、例えば、記録媒体に記録したり、データ伝送路を介して、他の情報処理装置などに送出可能な符号列、すなわち、複数のフレームにより構成された符号列を生成し、試聴データ生成部14に出力する。符号列生成部13により生成される符号列は、通常のデコーダによって高音質で再生可能な音声データである。
【0122】
図9に、符号列生成部13において生成される高音質で再生可能な音声データのフレームのフォーマットの例を示す。
【0123】
各フレームの先頭には、同期信号を含む固定長のヘッダが配置されている。ヘッダには、図3を用いて説明した変換部11の帯域分割フィルタ21の帯域分割数や、後述する試聴時間情報がこのフレームに記載されているか否かを示すフラグ等が記録される。
【0124】
各フレームには、ヘッダに続いて、分離されたトーン成分に関するトーン成分情報が記録される。トーン成分情報には、トーン成分数(ここでは、3)、トーン幅、および、図7を用いて説明したトーン成分符号化部32がトーン成分に対して施した量子化の量子化精度情報が記録されている。続いて、トーン成分41乃至43のデータとして、それぞれの正規化係数、トーン位置、およびスペクトル係数が記録されている。ここでは、例えば、トーン成分41の正規化係数が30、トーン位置がP1、スペクトル係数がSP1であり、トーン成分42の正規化係数が27、トーン位置がP2、スペクトル係数がSP2であり、トーン成分43の正規化係数が24、トーン位置がP3、スペクトル係数がSP3であるものとする。
【0125】
そして、トーン成分情報に続いて、非トーン成分情報が記載される。非トーン成分情報には、量子化ユニット数(ここでは16)、図8を用いて説明したトーン成分符号化部33が、非トーン成分に対して施した場合における16個の量子化ユニットそれぞれの、量子化の量子化精度情報、正規化係数情報、およびスペクトル係数情報が記録されている。量子化精度情報には、最低域の量子化ユニット[1]の4という値から、最高域の量子化ユニット[16]の4という値までが、量子化ユニット毎に記録されている。また、正規化係数情報には、最低域の量子化ユニット[1]の46という値から、最高域の量子化ユニット[16]の8という値までが、量子化ユニット毎に記録されている。
【0126】
ここでは、正規化係数情報として、スペクトル信号のパワーレベルのdB値に比例する値が用いられているものとする。また、コンテンツフレームの長さが固定長である場合、スペクトル係数情報の後に空き領域が設けられるようにしても良い。
【0127】
図10は、図2の試聴データ生成部14の更に詳細な構成を示すブロック図である。
【0128】
制御部61は、図示しない外部の操作入力部などから入力される、試聴時間情報、試聴可能領域、試聴可能領域の試聴帯域(試聴可能な周波数帯域)などの設定データを基に、試聴条件設定部62、および帯域制限処理部63を制御する。試聴可能領域とは、試聴データのうち、追加データを用いることなく低品質での再生が可能な部分である。
【0129】
データ再生装置5において、試聴データが再生される場合、試聴可能領域のうち、試聴時間情報に示される試聴時間以内の試聴領域が決定され、低音質で(帯域制限されて)再生される。試聴領域は、試聴可能領域内の複数箇所とすることも可能であるが、その合計再生時間は、試聴時間以内とされる。また、試聴可能領域の試聴帯域とは、低品質再生される周波数帯域のことである。例えば、図6を用いて説明したスペクトルデータのうち、一部の量子化ユニットのみを指定することにより、一定の範囲の周波数帯域のみを再生可能として、再生される音声の品質を下げるようになされている。
【0130】
ここでは、試聴時間情報を基に、試聴データを再生する場合の合計再生時間を制限しているが、試聴時間情報に変わって、試聴可能なデータのデータ長の合計の最大値を用いて、試聴データを再生する場合の合計再生データ長を制限するようにしても良い。
【0131】
試聴条件設定部62は、制御部61の制御に従って、図9を用いて説明した各フレームに対して、入力されたフレームが、試聴可能領域内であるか否かを判断し、試聴時間情報を挿入するフレームを決定し、試聴時間情報、および試聴時間情報を挿入するフレームの情報を、拡張情報挿入部64に出力する。
【0132】
図11を用いて、試聴可能領域について説明する。
【0133】
例えば、図11Aに示されるように、試聴データの全体を試聴可能領域とするようにしても良い。再生または記録時には、試聴データの全てのうち、試聴時間以内の再生時間(または記録時間)となるように、試聴領域が選択される。また、図11Bに示されるように、試聴データの一部を試聴可能領域とし、他の部分を試聴不可領域とするようにしても良い。再生または記録時には、試聴可能領域1と試聴可能領域2から、試聴時間以内の部分が試聴領域として選択される。図11Bにおいては、試聴可能領域を、試聴可能領域1と試聴可能領域2の2箇所とし、試聴不可領域を、試聴不可領域1と試聴不可領域2の2箇所として図示しているが、試聴可能領域および試聴不可領域の数は、それぞれ、1つであっても、3つ以上であっても良い。
【0134】
図11Bに示されるように、試聴フレームに、試聴可能領域と試聴不可領域とがそれぞれ存在する場合、試聴データに、試聴可能範囲情報を含ませるようにし、データ再生装置5、またはデータ記録装置7においては、再生時、または記録時に、試聴可能範囲情報を参照して、試聴開始位置を決定させるようにしても良い。
【0135】
また、図11Cに示されるように、試聴データを単位時間ごとに区切って(図11Cでは、6分間の試聴データを1分ごとに区切って)、その前半部分(すなわち、前半30秒)を試聴可能領域a乃至試聴可能領域fとし、残りを、試聴不可領域とするようにしても良い。例えば、試聴時間が2分間と設定されている場合、再生または記録時には、試聴可能領域a乃至試聴可能領域fのうちの4箇所が選択されて再生または記録される。
【0136】
図11Cに示されるように、試聴フレームに、試聴可能領域が1分間隔で30秒ずつ設定されている場合、試聴データに、試聴開始位置精度情報(この場合、1分間隔で試聴開始位置が設定されることを示す情報)を含ませるようにし、データ再生装置5、またはデータ記録装置7においては、再生時、または記録時に、試聴開始位置精度情報を参照して、試聴開始位置を決定させるようにしても良い。
【0137】
また、図11Dに示されるように、試聴データを単位時間ごとに区切って(図11Cでは、6分間の試聴データを30秒ごとに区切って)、そのうちの一部(図11Dでは、最後の5秒間)を試聴不可領域とし、残りを試聴可能領域とするようにしても良い。例えば、試聴時間が1分間と設定されている場合、データ再生装置5、またはデータ記録装置7においては、再生時または記録時に、試聴領域の開始位置を1箇所だけ指定して、再生または記録を開始させることにより、2箇所、もしくは3箇所において、再生または記録される音声が途切れる。
【0138】
そして、試聴時間情報は、例えば、以下のパターンでフレームに記録される。1、全てのフレーム
2、試聴可能領域の全てのフレーム
3、試聴可能領域の所定間隔ごとのフレーム
4、先頭の試聴可能領域の先頭フレーム
5、全ての試聴可能領域の先頭フレーム
【0139】
試聴条件設定部62は、上述した5つのパターンのうちのいずれかのパターンを選択して、試聴時間情報を挿入するフレームを決定し、試聴時間情報、および試聴時間情報を挿入するフレームの情報を、拡張情報挿入部64に出力する。
【0140】
帯域制限処理部63は、制御部61の制御に従って、図9を用いて説明した各フレームに対して、入力されたフレームが、試聴可能領域内であるか否かに基づいて、試聴帯域が制限されたデータを生成する。試聴可能領域内の試聴帯域についての情報は、制御部61から入力される。
【0141】
例えば、試聴可能部分の試聴帯域として、量子化ユニット[1]乃至量子化ユニット[12]が指定された場合、帯域制限処理部63は、入力されたフレームが、試聴可能領域のフレームであるとき、図12に示されるように、試聴帯域より高域側の量子化ユニット[13]乃至量子化ユニット[16]の量子化精度情報、および、正規化係数情報の値を、入力されたフレームから分離し、追加フレーム生成部65に出力し、入力されたフレームに記載されている、分離した情報に対応する値を最小化する。従って、量子化ユニット[13]乃至量子化ユニット[16]に対応する部分のスペクトル係数情報には、有効な値が記述されているが、対応する正規化係数が最小化されているため、再生時には、対応する部分のスペクトルは、厳密には0にはならないが、可聴性という観点からは、実質的には0と同等の値となる。従って、図中Adで示される位置より高域側のスペクトル係数情報は、再生時に参照されないのと同義である。
【0142】
帯域制限処理部63は、非トーン成分と同様にして、トーン成分のうち、試聴帯域から外れている部分の量子化精度情報、および、正規化係数の値も、入力されたフレームから分離して、追加フレーム生成部65に出力し、入力されたフレームに記載されている、分離した情報に対応する値を最小化する。
【0143】
図12を用いて説明したように、試聴帯域以外のデータの一部を分離した試聴データを再生した場合のスペクトル信号を図13に示す。量子化ユニット[13]乃至量子化ユニット[16]の正規化係数情報が分離されているため、対応するスペクトル信号は極小化される。また、量子化ユニット[13]乃至量子化ユニット[16]に含まれている2つのトーン成分に対しても、同様に、対応するスペクトル信号は極小化される。すなわち、試聴データを復号して再生した場合、試聴可能部分においては、狭帯域のスペクトル信号のみが再生される。
【0144】
このようにすることにより、試聴データの試聴可能領域を再生した場合、狭帯域のデータしか再生されないので、図9を用いて説明したオリジナルデータと比較して、品質の低いデータが再生される。
【0145】
更に、帯域制限処理部63は、試聴不可領域の部分に対応するフレームの量子化ユニット[1]乃至[16]の全ての正規化係数情報の値を全て最小値(ここでは、最小値が0であるものとする)に変更し(対応するスペクトル係数が実質的に0となり、再生されない)、参照されなくなったスペクトル係数情報の一部に試聴不可を示す制御情報を挿入したり、トーン部分および非トーンの試聴不可の部分に対応するフレームの量子化ユニット[1]乃至[16]の全ての正規化係数情報の値を入力されたフレームから分離することなどにより、試聴不可のフレーム(保護領域)のデータが、再生、または記録されても無音となるように変換する。正規化係数情報の値が全て最小値に変更された場合の真の正規化係数情報、試聴不可を示す制御情報に置き換えられたスペクトル係数情報、または、分離された正規化係数情報などのデータは、追加フレーム生成部65に出力されて、追加フレームに含まれるようになされる。
【0146】
図12、および図13を用いて説明した、試聴帯域以外のデータの一部を分離して生成された試聴用データは、後述するクライアント3−1のデータ再生装置5においても、従来のデータ再生装置であるクライアント3−2のデータ再生装置6においても、試聴領域が低音質で再生可能であり、後述するクライアント3−3のデータ記録装置7においても、従来のデータ記録装置であるクライアント3−4のデータ記録装置8においても、試聴領域が低音質で記録可能なデータである。
【0147】
試聴データ生成部14は、拡張情報挿入部64の処理により、試聴用データを、従来のデータ再生装置であるクライアント3−2のデータ再生装置6において再生できず、従来のデータ記録装置であるクライアント3−4のデータ記録装置8において記録できずに、後述するクライアント3−1のデータ再生装置5において再生可能で、かつ、クライアント3−3のデータ記録装置7において記録可能なデータとして生成する。
【0148】
拡張情報挿入部64は、帯域制限処理部63の処理により、図12を用いて説明した、試聴帯域以外の正規化係数が分離された試聴可能領域のフレームの入力を受け、トーン成分情報のトーン成分数、および、非トーン成分情報の量子化ユニット数を最小値(ここでは0)とする。そして、拡張情報挿入部64は、トーン成分情報のトーン成分数、および、非トーン成分情報の量子化ユニット数を最小値(ここでは0)としたことで、非トーン成分情報の記録領域が縮小されるので、フレームに、拡張領域を設定する。拡張領域は、従来のデータ再生装置であるクライアント3−2のデータ再生装置6のデータ再生処理、および、従来のデータ記録装置であるクライアント3−4のデータ記録装置8のデータ記録処理においては参照されないデータ領域である。
【0149】
拡張情報挿入部64は、量子化ユニット[1]乃至量子化ユニット[12]が試聴帯域である場合、試聴帯域内のトーン成分(トーン成分41)の個数(値1)、正規化係数情報(値30)と、トーン位置情報(P1)およびスペクトル係数情報(SP2)、並びに、試聴領域内の非トーン成分の量子化ユニット数(値12)、量子化ユニット[1]乃至量子化ユニット[12]の非トーン成分の量子化精度情報、および、正規化係数情報、並びに、全ての量子化ユニットのスペクトル係数情報を、拡張領域内に再配置する。
【0150】
従って、生成される試聴データは、従来のデータ再生装置であるクライアント3−2のデータ再生装置6において、帯域制限された音声も再生することができず、従来のデータ記録装置であるクライアント3−4のデータ記録装置8において、帯域制限された音声も記録することができないが、後述するクライアント3−1のデータ再生装置5において、帯域制限された音声が再生可能で、かつ、クライアント3−3のデータ記録装置7において、帯域制限された音声が記録可能なデータとなる。
【0151】
更に、図12を用いて説明したように、試聴帯域より高域側の量子化ユニット[13]乃至量子化ユニット[16]の正規化係数情報の値が分離されている場合、量子化ユニット[13]乃至量子化ユニット[16]に対応する、図中Adで示される位置より高域側のスペクトル係数情報は、参照されないのと同義であるので、この範囲内に、任意の制御情報を記載することが可能である。
【0152】
拡張情報挿入部64は、試聴条件設定部62から入力される情報に基づいて、試聴帯域より高域側のスペクトル係数が記録されている領域に、試聴時間情報を挿入して、試聴データ生成部66に出力する。また、拡張情報挿入部64は、データ再生装置5、または、データ記録装置7において、試聴時間情報が挿入されているフレームを検出することができるように、各フレームのヘッダの、試聴時間情報が挿入されていることを示すフラグ(試聴時間情報フラグ)をオン、またはオフにする。試聴時間情報は、上述したように、全てのフレームに記載されても良いし、一部のフレームに記載されても良い。拡張情報挿入部64は、試聴時間情報が記載された部分に対応する真のスペクトル係数情報と、必要に応じて、試聴時間情報が挿入された位置を示す情報とを、追加フレーム生成部65に出力する。
【0153】
更に、拡張情報挿入部64は、図中Adで示される位置より高域側のスペクトル係数情報の範囲内で、試聴時間情報が記載されない位置に、ランダムなダミーデータなどを記載するようにしても良い。この場合、拡張情報挿入部64は、ダミーデータが記載された部分に対応する真のスペクトル係数情報と、必要に応じて、ダミーデータが挿入された位置を示す情報とを、追加フレーム生成部65に出力する。
【0154】
ここでは、試聴データの再生時に参照されないスペクトル係数情報に対応する位置に、試聴時間情報やダミーデータを挿入するものとして説明したが、試聴データの再生時に参照されない部分であれば、試聴時間情報やダミーデータを挿入する位置は、スペクトル係数情報に対応する位置以外であっても良い。
【0155】
なお、拡張情報挿入部64は、試聴データを復号した場合の復号データ長が、オリジナルデータを復号した場合の復号データ長より長くなることがないような置き換え用の試聴時間情報やダミーデータを用いて、試聴フレームを生成する。
【0156】
試聴時間情報が挿入された場合のフレームのフォーマットを図14に示す。
【0157】
試聴領域として量子化ユニット[1]乃至量子化ユニット[12]が選択されている場合、生成される試聴フレームから、量子化ユニット[13]乃至量子化ユニット[16]に対応するトーン成分の正規化係数情報、トーン位置情報、およびスペクトル係数情報、並びに、非トーン部分の量子化精度情報および正規化係数情報が分離されている。そして、トーン成分情報のトーン成分数、および、非トーン成分情報の量子化ユニット数が0に変更され、再生、または記録時に参照されない拡張領域に、分離されなかった試聴領域内の情報が移動されて配置され、更に、試聴領域外のスペクトル係数情報が記載されている領域の一部(図中、Adで示される位置より高域側)に、試聴時間情報が記載される。試聴時間情報で置き換えられるスペクトル係数情報は、試聴データの再生または記録時に、トーン成分数および量子化ユニット数が、試聴帯域に基づいて復元され、拡張領域の情報が参照可能な領域に再配置された場合においても、実際の再生または記録に用いられないデータ領域である。
【0158】
図14においては、試聴領域外のスペクトル係数情報の一部が、試聴時間情報に置き換えられているフレームについて説明しているが、試聴時間情報のみならず、試聴時間情報とダミーデータによって、試聴領域外のスペクトル係数情報の一部を置き換えるようにしても良いし、試聴時間情報が記載されないフレームにおいては、ダミーデータのみによって、試聴領域外のスペクトル係数情報の一部を置き換えるようにしても良い。
【0159】
特に、スペクトル係数情報が可変長符号化されており、その可変長符号が、スペクトル係数情報の記載領域に、低域側から高域側に、順次記述されている場合、参照されないスペクトル係数情報の領域に、試聴時間情報(または、ダミーデータ)が記載されていることにより、中域の可変長符号の一部が欠落するので、その部分を含めた高域側のデータは、全く復号できなくなる。すなわち、試聴データに含まれるオリジナルデータに関わるスペクトル係数情報を、追加データを用いることなく復元することが困難となるので、試聴データの安全性が強化される。
【0160】
このように、正規化係数などのデータの一部が欠落していたり、スペクトル係数などのデータの一部が、別のデータで置き換えられている場合、欠落しているデータ、または、置き換えられたデータに対する真のデータを推測することは、比較的鍵長の短い暗号鍵を解読することと比較して、非常に困難である。また、試聴データを不正に改変しようとすると、かえって音質を劣化させる原因となる。従って、オリジナルデータの試聴が許可されていないユーザが、試聴データを基に、オリジナルデータを推測することが非常に困難となり、コンテンツデータの著作者や配布者の権利をより強固に保護することが可能となる。
【0161】
また、万が一、ある試聴データにおいて、欠落された、または、置き換えられたデータに対する真のデータが推測されてしまっても、暗号アルゴリズムを解読されてしまった場合と異なり、他のコンテンツにその被害が拡大することはないので、特定のアルゴリズムを用いて暗号化を施したコンテンツデータを試聴データとして配布するよりも安全性が高い。
【0162】
以上において、帯域制限処理部63により分離された真のトーン成分の正規化係数情報、トーン位置情報、およびスペクトル係数情報、並びに、非トーン成分の真の量子化精度情報および正規化係数情報に加えて、拡張情報挿入部64により置き換えられた非トーン成分の真のスペクトル係数情報は、後述する追加フレーム生成部65に供給され、追加フレームに記載される。
【0163】
なお、拡張情報挿入部64は、拡張領域に空きがあれば、試聴帯域以外であっても、トーン成分の正規化係数情報、トーン位置情報、およびスペクトル係数情報、並びに、非トーン成分の量子化精度情報および正規化係数などの値を、拡張領域に記載するようにしても良い。その場合、帯域制限処理部63は、試聴帯域以外のデータで、拡張領域に記載するデータを、追加フレーム生成部65ではなく、拡張情報挿入部64に出力する。拡張情報挿入部64は、帯域制限処理部63から供給された、試聴帯域以外のデータを、拡張領域に記載する。
【0164】
ただし、試聴フレームの拡張領域に、試聴帯域以外の正規化係数情報を記載する場合と、試聴帯域以外の量子化精度情報を記載する場合とでは、追加データを用いずに試聴データから不正にオリジナルデータを推測するための困難さ、すなわち、試聴データの安全強度が異なってしまう。例えば、オリジナルデータの生成時に、正規化係数情報に基づいて量子化精度情報を算出するようなビット割当てアルゴリズムが採用されている場合、拡張領域に試聴帯域以外の正規化係数情報を記載していると、この正規化係数情報を手掛かりにして、真の量子化精度情報を推測される危険性がある。
【0165】
これに対して、試聴フレームの拡張領域に、試聴帯域以外の量子化精度情報を記載しても、量子化精度情報から正規化係数情報を推測するのは困難であるので、試聴データの安全強度は高いといえる。なお、試聴帯域以外の正規化係数情報および量子化精度情報の両方の値を試聴フレームの拡張領域に記載しないことで、不正にオリジナルデータを推測される危険性は更に低くなる。また、試聴データのコンテンツフレームによって、正規化係数情報または量子化精度情報の値を選択的に拡張領域に記載するようにしてもよい。
【0166】
追加フレーム生成部65は、帯域制限処理部63により、帯域が制限されて、分離された試聴帯域外のトーン成分および非トーン成分の情報、および、試聴不可領域の部分に対応するフレームの量子化ユニット[1]乃至[16]の全ての正規化係数情報の真の値、並びに、拡張情報挿入部64により、試聴時間情報、または、ダミーデータで置き換えられた非トーン成分の真のスペクトル係数情報の入力を受け、試聴データを試聴したユーザが、高音質で楽曲を再生、または記録する場合に購入するオリジナルデータ復元用の追加データを構成する追加フレームを生成する。
【0167】
図15に、試聴可能帯域に対応する追加フレームのフォーマットを示す。試聴帯域として、量子化ユニット[1]乃至量子化ユニット[12]が選択されている場合、追加フレーム生成部65は、帯域制限処理部63から、試聴データの各フレームにおいて、量子化ユニット[13]乃至量子化ユニット[16]の4つの量子化ユニットに対応する、トーン成分(ここでは、トーン成分42およびトーン成分43)の正規化係数情報、トーン位置情報、およびスペクトル係数情報、並びに、非トーン部分の量子化精度情報および正規化係数情報の供給を受ける。また、追加フレーム生成部65は、拡張情報挿入部64から、試聴時間情報に置き換えられた、参照されないスペクトル係数情報の一部、およびそのスペクトル情報の位置(図14における位置Ad)の入力を受ける。追加フレーム生成部65は、これらの情報を基に、追加フレームに含まれるトーン成分数、および、量子化精度情報数を求め、図15の追加フレームを生成する。
【0168】
追加フレームには、トーン成分に対応する追加情報と、非トーン成分に対応する追加情報が記載される。図15において、トーン成分に対応する追加情報としては、分離されたトーン成分数(ここでは2成分が分離されている)と、それぞれのトーン成分の正規化係数情報、トーン位置情報、およびスペクトル係数情報が記載される。また、非トーン成分に対応する追加情報としては、分離された非トーン成分の正規化係数の数(ここでは4成分が分離されている)、量子化精度情報、正規化係数情報、および試聴時間情報に書き換えられた部分の真のスペクトル係数情報とその位置(Ad)が記載されている。
【0169】
図15においては、試聴時間情報に書き換えられた部分の真のスペクトル係数情報の位置情報を、生成される追加フレームに記載するものとして説明しているが、試聴フレームにおいて、スペクトル係数情報を試聴時間情報に書き換える部分を、参照されないスペクトル係数情報となる部分の先頭とすれば、追加フレームに位置情報を記載しなくても、試聴領域の量子化ユニット数を基に、試聴時間情報に書き換えられた部分の真のスペクトル係数情報の位置を求めることが可能である。すなわち、試聴時間情報に書き換えられるスペクトル係数情報の位置を、参照されないスペクトル係数情報となる部分の先頭と異なる位置とする場合は、追加フレームに、試聴時間情報に書き換えられた部分の真のスペクトル係数情報の位置情報を記載する必要がある。
【0170】
また、追加フレ―ムに記載される情報の一部を拡張領域に記載することにより、追加フレームから構成される追加データのデータ容量を少なくすることができるので、例えば、ユーザが、いわゆるMMKを用いて、追加データを光磁気ディスクなどの記録媒体に記録しようとした場合、処理時間を短くすることができたり、追加データを、ネットワーク1を介して、サーバ2からダウンロードしようとした場合、通信時間を短くすることができる。なお、この場合、拡張領域に記載されるデータに対応する部分は、追加フレームに記載されない。
【0171】
また、図示は省略するが、試聴不可領域の部分に対応するフレームの追加フレームには、量子化ユニット[1]乃至[16]の全ての正規化係数情報の真の値が記載される。
【0172】
試聴データ生成部66は、試聴データのヘッダを生成し、入力された試聴データの符号化フレーム列に、生成したヘッダを付加して、試聴データを生成して出力する。試聴データのヘッダには、例えば、コンテンツを識別するためのコンテンツIDや、コンテンツのタイトル、あるいは、符号化方式の情報などの情報が含まれている。
【0173】
追加データ生成部67は、追加データのヘッダを生成し、入力された追加データの符号化フレーム列に、生成した追加データのヘッダを付加して、追加データを生成して出力する。追加データのヘッダには、コンテンツを識別して、試聴データと対応させるためのコンテンツID、コンテンツ(オリジナルデータ)の再生時間、必要に応じて符号化方式に関する情報などが記載される。
【0174】
このようにして、試聴データの再生品質を下げるために試聴帯域を制限するとともに、帯域制限された再生用データを、試聴時間情報とともに、従来のデータ再生装置6、または、データ記録装置8では、再生、または記録時に参照されない領域に記載するようにしたので、帯域制限された試聴用データの位置を再配置する機能を有するデータ再生装置5またはデータ記録装置7にのみ、試聴データの再生または記録が可能となる。
【0175】
また、帯域制限された試聴用データの位置を再配置する機能を有するデータ再生装置5またはデータ記録装置7においては、試聴データ生成部14によって生成された試聴データと追加データとを用いて、後述する処理により、オリジナルデータを復元することが出来る。
【0176】
次に、図16乃至図18のフローチャートを参照して、試聴データ生成処理について説明する。
【0177】
ステップS1において、試聴データ生成部14の制御部61は、図示しない操作入力部などから入力された、試聴データの試聴可能領域の試聴帯域の設定値を取得する。ここでは、試聴帯域として、図13を用いて説明したように、量子化ユニット[1]乃至量子化ユニット[12]が試聴帯域として設定されたものとして説明する。制御部61は、試聴帯域の設定値を、帯域制限処理部63に供給する。
【0178】
ステップS2において、制御部61は、図示しない操作入力部などから入力された、試聴データの試聴可能領域を指定する情報を取得する。試聴可能領域は、例えば、図11を用いて説明したように、試聴データの全体、または、その一部として設定される。制御部61は、試聴可能領域を指定する情報を、試聴条件設定部62および帯域制限処理部63に供給する。
【0179】
ステップS3において、制御部61は、図示しない操作入力部などから入力された、1回の試聴で試聴データを再生(または記録)することができる最長の時間である試聴時間の設定値を取得する。制御部61は、設定された試聴時間に関する情報を、試聴条件設定部62に供給する。
【0180】
ステップS4において、帯域制限処理部63は、オリジナルデータに相当するフレーム列に含まれるいずれかのフレーム、すなわち、図9を用いて説明した高音質再生可能なフレームの入力を受ける。
【0181】
ステップS5において、試聴条件設定部62および帯域制限処理部63は、制御部61から供給された情報を基に、入力されたフレームは試聴フレーム(試聴可能領域に含まれるフレーム)であるか否かを判断する。
【0182】
ステップS5において、入力されたフレームは試聴フレームであると判断された場合、ステップS6において、帯域制限処理部63は、トーン成分および非トーン成分のデータのうち、制御部61から供給された試聴帯域の設定値で指定されている帯域以外の部分を、図12を用いて説明したように分離して、分離されたデータを、追加フレーム生成部65に出力するとともに、分離されずに残ったデータを、拡張情報挿入部64に出力する。なお、試聴帯域以外のデータの一部を拡張領域に記録させる場合、帯域制限処理部63は、分離したデータの一部を拡張情報挿入部64に出力して、その他を追加フレーム生成部65に出力する。
【0183】
拡張情報挿入部64は、ステップS7において、入力されたフレームのトーン成分情報のトーン成分数を0に変更し、ステップS8において、量子化ユニット数を0に変更する。
【0184】
ステップS9において、拡張情報挿入部64は、トーン成分の正規化係数情報、トーンの位置情報、およびスペクトル係数情報を、拡張領域に移動する。
【0185】
ステップS10において、拡張情報挿入部64は、非トーン成分の量子化係数情報、正規化係数情報、およびスペクトル係数情報を、拡張領域に移動する。
【0186】
ステップS11において、拡張情報挿入部64は、現在処理中のフレームは、試聴時間情報を挿入するべきフレームであるか否かを判断する。試聴時間情報を挿入するべきフレームの設定方法には、上述したように、試聴データの全てのフレーム、試聴可能領域の全てのフレーム、試聴可能領域の所定間隔ごとのフレーム、先頭の試聴可能領域の先頭フレーム、全ての試聴可能領域の先頭フレームなどのパターンがある。
【0187】
ステップS11において、試聴時間情報を挿入するべきフレームであると判断された場合、ステップS12において、拡張情報挿入部64は、フレームのヘッダに含まれる試聴時間情報フラグをオンにするとともに、試聴領域より高域側のスペクトル係数情報が記載されている箇所(例えば、図14に示される位置Adより高域側)のスペクトル係数情報と置き換えて、試聴時間情報を記録し、試聴時間情報によって置き換えられたスペクトル係数情報の値を、追加フレーム生成部65に出力する。
【0188】
ステップS11において、試聴時間情報を挿入するべきフレームではないと判断された場合、ステップS13において、拡張情報挿入部64は、フレームのヘッダに含まれる試聴時間情報フラグをオフにする。
【0189】
ステップS12またはステップS13の処理の終了後、ステップS14において、拡張情報挿入部64は、試聴領域より高域側のスペクトル係数情報の一部を、ダミーデータに置き換え、ダミーデータに置き換えられたスペクトル係数情報の値を、追加フレーム生成部65に出力する。スペクトル係数情報に置き換えられるダミーデータは、全て値0とするようにしても良いし、適当に値1および値0を混在させるようにしても良い。
【0190】
ステップS15において、追加フレーム生成部65は、帯域制限処理部63および拡張情報挿入部64から入力される信号を基に、試聴データを試聴したユーザが、高音質で楽曲を聞く場合に購入する追加データのうち、図15を用いて説明した、試聴可能領域のフレームに対応する追加フレーム用のデータを生成し、処理は、ステップS20に進む。
【0191】
ステップS5において、入力されたフレームは試聴フレームではないと判断された場合、帯域制限処理部63は、ステップS16において、トーン成分の正規化係数情報を、全て最小値(すなわち0)に変更し、ステップS17において、非トーン成分の正規化係数情報を、全て最小値(すなわち0)に変更し、ステップS18において、参照されないスペクトル係数情報の一部に、試聴不可を示す制御情報を記載する。拡張情報挿入部64は、生成された試聴不可領域に対応するフレームを試聴データ生成部66に出力するとともに、ステップS16およびステップS17において最小値に変更された真の正規化係数情報、並びに、ステップS18において試聴不可を示す制御情報と置き換えられた真のスペクトル係数情報を、追加フレーム生成部65に出力する。
【0192】
ここでも、同様にして、スペクトル係数情報が可変長符号化されている場合、真のスペクトル係数情報が復号された場合のビット長より、制御情報が復号された場合のビット長が短くなるような制御情報を用いて、置き換えを行うようにする。更に、制御情報に加えて、ダミーデータを用いて置き換えを行うようにしても良い。
【0193】
また、トーン部分および非トーンの正規化係数情報を、全て最小値(すなわち0)に変更するのではなく、量子化ユニット[1]乃至[16]の全ての正規化係数情報(あるいは、トーン部分のトーン位置、量子化精度情報、スペクトル係数情報など)の値を、入力されたフレームから分離することなどにより、試聴不可のフレームのデータが、再生、または記録されても無音となるようにしてもよい。
【0194】
ステップS19において、追加フレーム生成部65は、帯域制限処理部63から入力される信号を基に、試聴データを試聴したユーザが、高音質で楽曲を聞く場合に購入する追加データのうち、試聴不可領域のフレームに対応する追加フレーム用のデータを生成する。
【0195】
ステップS15の処理の終了後、もしくはステップS19の処理の終了後、ステップS20において、試聴データ生成部64は、処理されたフレームは、最終フレームであるか否かを判断する。ステップS20において、処理されたフレームは、最終フレームではないと判断された場合、処理は、ステップS4に戻り、それ以降の処理が繰り返される。
【0196】
ステップS20において、処理されたフレームは、最終フレームであると判断された場合、ステップS21において、試聴データ生成部66は、試聴データのヘッダを生成して、試聴フレーム列に付加し、試聴データを生成して、出力する。
【0197】
ステップS22において、追加データ生成部67は、入力された情報を用いて、追加データのヘッダを生成して、追加フレーム列に付加し、追加データを生成して出力し、処理が終了される。
【0198】
図16乃至図18のフローチャートを参照して説明した処理により、試聴可能領域のみが低品質で再生される試聴データと、試聴データからオリジナルデータを復元するための追加データが生成される。
【0199】
なお、ここでは、試聴データに試聴時間情報を挿入するものとして説明したが、試聴データに試聴時間情報を挿入せず、試聴データを再生または記録する、データ再生装置5、またはデータ記録装置7の内部に、試聴時間情報を予め記憶させておくことようにし、記憶されている試聴時間情報を用いて、市長可能領域のフレームから、試聴領域のフレームを選択させるようにしても良い。
【0200】
なお、符号化装置4の信号成分符号化部12は、入力された信号を符号化する場合、トーン成分と非トーン成分を分離して、それぞれ別に符号化を行うものとして説明したが、信号成分符号化部12に代わって、図8の非トーン成分符号化部33を用いることにより、入力された信号をトーン成分と非トーン成分を分離せずに符号化するようにしても良い。
【0201】
図19に、入力された信号をトーン成分と非トーン成分に分離しない場合に符号列生成部13により生成される高音質のオリジナルデータフレームのフォーマットの例を示す。
【0202】
オリジナルデータフレームの先頭には、図9で説明した場合と同様に、同期信号を含む固定長のヘッダが配置されている。ヘッダには、同期信号に加えて、図3を用いて説明した変換部11の帯域分割フィルタ21の帯域分割数や、試聴時間情報フラグなども記録される。ヘッダに続いて、量子化ユニット数(ここでは16)、非トーン成分符号化部33が施した量子化の量子化精度情報、16個の量子化ユニットそれぞれの正規化係数情報、およびスペクトル係数情報が記録されている。
【0203】
量子化精度情報には、最低域の量子化ユニット[1]の4という値から、最高域の量子化ユニット[16]の4という値までが、量子化ユニット毎に記録されている。正規化係数情報には、最低域の量子化ユニット[1]の46という値から、最高域の量子化ユニット[16]の8という値までが、量子化ユニット毎に記録されている。また、コンテンツフレームの長さが固定長である場合、スペクトル係数情報の後に空き領域が設けられるようにしても良い。
【0204】
例えば、試聴可能部分の試聴帯域として、量子化ユニット[1]乃至量子化ユニット[12]が指定された場合、図19を用いて説明したオリジナルデータフレームは、まず、図20に示されるように、図12を用いて説明した場合と同様に、試聴帯域より高域側の量子化ユニット[13]乃至量子化ユニット[16]の量子化精度情報、および、正規化係数情報の値が分離される。従って、量子化ユニット[13]乃至量子化ユニット[16]に対応する部分のスペクトル係数情報には、有効な値が記述されているが、再生時には、対応する部分のスペクトルは極小化される。
【0205】
そして、図21に、図19を用いて説明したオリジナルデータフレームの入力を受けた試聴データ生成部14により生成される試聴部分の音声データのフォーマットを示す。図21に示されるように、量子化ユニット数は0に置き換えられ、参照されないスペクトル係数の一部に、必要に応じて、試聴時間情報が記載される。また、参照されないスペクトル係数の一部に、ダミーデータを記載するようにしても良い。
【0206】
そして、図22に、図19を用いて説明したオリジナルデータフレームの入力を受けた試聴データ生成部14の追加フレーム生成部65により生成される追加フレームを示す。追加フレームには、分離された量子化ユニットの量子化精度情報の数(ここでは4成分分離されている)、分離された量子化精度情報および正規化係数情報、並びに、試聴時間情報、またはダミーデータに書き換えられた部分の真のスペクトル係数情報とその位置情報が記載されている。
【0207】
図19乃至図22を用いて説明したように、トーン成分が分離されない場合においても、同様の処理により、試聴可能領域のうち、試聴時間内のフレームに対応する音声が低品質で再生される試聴データと、試聴データからオリジナルデータを復元するための追加データが生成される。
【0208】
また、トーン成分が分離されない場合においても、試聴データに試聴時間情報を挿入せず、試聴データを再生または記録する、データ再生装置5、またはデータ記録装置7の内部に、試聴時間情報を予め記憶させておくようにしても良い。
【0209】
このようにして生成された試聴データは、インターネットなどのネットワーク1を介して、ユーザが有するクライアント3−1またはクライアント3−3に配信されたり、店舗などに備えられたクライアント3−3であるMMKによって、ユーザが保有する各種の記録媒体に記録されて配布される。試聴データを再生して、気に入ったユーザは、所定の料金をコンテンツデータの配信事業者(サーバ2を管理する事業者)に支払うなどして、追加データを入手することが出来る。ユーザは、試聴データおよび追加データを用いて、オリジナルデータを復元させ、復号して再生したり、記録媒体に記録することが可能となる。
【0210】
次に、試聴データを復号して出力、あるいは再生する、もしくは、試聴データおよび追加フレームから、オリジナルデータを復号して出力、あるいは再生する場合の処理について説明する。
【0211】
図23は、データ再生装置5の構成を示すブロック図である。
【0212】
符号列分解部91は、符号化された試聴データの入力を受け、符号列を分解して、各信号成分の符号を抽出し、符号列復元部93に出力する。更に、符号列分解部91は、分解した符号から、試聴時間情報フラグを参照して、そのフレームに試聴時間情報が記載されているか否かを判断し、試聴時間情報が記載されている場合、試聴時間情報を抽出して、試聴領域決定部96に出力する。
【0213】
なお、試聴フレームに試聴時間情報を記載するのではなく、制御部92が内部に有する図示しない記憶部に試聴時間情報を予め記憶させるか、制御部92が実行するプログラムに、試聴時間情報の値を予めプログラムしておき、試聴領域決定部96には、制御部92から、試聴時間情報を読み込ませるようにしても良い。
【0214】
高音質再生を行わず、試聴再生を行う場合、試聴領域決定部96は、符号列分解部91から入力される、あるいは、制御部92から読み込んだ試聴時間情報を基に、試聴可能フレームの中から、試聴フレームを選択し、試聴領域を決定する。試聴領域は、1箇所であっても、複数箇所であっても良いが、その合計時間が試聴時間以内となるように決定される。試聴開始位置は、試聴再生のたびに試聴領域が異なるように、例えば、乱数を発生させることなどにより、ランダムに決定することができる。
【0215】
例えば、図11Aに示されるように、試聴可能領域が、試聴データ全体にわたっている場合、試聴領域決定部96は、試聴開始位置を、試聴データの最初の位置から、試聴データの最後の位置より試聴時間だけ前の位置の間で、ランダムに設定し、そこから試聴時間内のフレームを試聴フレームとして選択し、制御部92に通知する。
【0216】
また、図11Bに示されるように、試聴フレームに、試聴可能領域と試聴不可領域とがそれぞれ存在する場合、試聴領域決定部96は、試聴開始位置を、試聴可能領域1または試聴可能領域2の最初の位置から、試聴可能領域1または試聴可能領域2の最後の位置より試聴時間だけ前の位置の間で、ランダムに設定し、そこから試聴時間内のフレームを試聴フレームとして選択し、制御部92に通知する。
【0217】
そして、図11Cに示されるように、試聴可能領域が、1分間隔で30秒ずつ設定されている場合、試聴領域決定部96は、例えば、試聴時間が1分間であれば、試聴可能領域a乃至試聴可能領域fのうち、ランダムに2つの試聴可能領域を選択し、その2つの試聴可能領域に含まれるフレームを試聴フレームとして選択し、制御部92に通知する。
【0218】
図11Cに示されるように、試聴フレームに、試聴可能領域が1分間隔で30秒ずつ設定されている場合、試聴データに、試聴開始位置精度情報(この場合、1分間隔で試聴開始位置が設定されることを示す情報)を含ませるようにし、試聴領域決定部96に、試聴開始位置精度情報を参照して、2箇所の試聴開始位置を決定させるようにしても良い。
【0219】
また、図11Dに示されるように、30秒ごとに5秒間が試聴不可領域とされ、それ以外が試聴可能領域に設定されている場合、試聴領域決定部96は、例えば、試聴時間が1分間であれば、試聴開始位置を、試聴可能領域最初の位置から、試聴可能領域の最後の位置より(試聴時間+10秒)だけ前の位置の間で、ランダムに設定し、そこから、試聴不可領域を除いた再生時間が、試聴時間内となるような数のフレームを試聴フレームとして選択し、制御部92に通知する。
【0220】
また、試聴領域が複数箇所にわたっていたり、試聴領域の途中に試聴不可領域が存在する(例えば、図11Dのように試聴可能領域が設定されている)場合、試聴領域と試聴領域との境界部分で不自然な再生処理が行われないように、フェードイン・フェードアウトを行って、自然に連続して再生が行われるようにしてもよい。
【0221】
制御部92は、図示しない操作入力部から、ユーザの操作を受け、入力されたデータを高音質再生するか否かを示す情報に基づいて、符号列復元部93の処理を制御するとともに、必要に応じて、追加データの入力を受け、符号列復元部93に供給する。また、制御部92は、試聴領域決定部96が試聴領域を決定するための試聴時間情報を、予め記憶しておくようにしても良いし、制御部92が実行するプログラムに、試聴領域決定部96が試聴領域を決定するための試聴時間情報をプログラムしておくようにしても良い。
【0222】
試聴再生が行われる場合、制御部92は、試聴領域決定部96から供給された、試聴領域(試聴フレーム)を示す情報を基に、符号列復元部93を制御して、試聴フレームの拡張領域に配置されたデータを、再生可能な位置に再配置させるようにする。更に、制御部92は、試聴領域決定部96から供給された、試聴領域(試聴フレーム)を示す情報を基に、再生されるフレーム数をカウントするために、フレームカウンタ97を動作させ、フレームカウンタ97によるカウント数が試聴時間相当値に到達したとき、試聴再生処理を終了させる。
【0223】
一方、高音質再生が実行される場合、制御部92は、必要に応じて、トーン成分の正規化係数情報、トーン位置情報、および、スペクトル係数情報、並びに、非トーン成分の量子化精度情報、正規化係数情報、および、スペクトル係数情報などの、高音質再生に必要なデータを、符号復元部93に供給し、オリジナルデータを復元させる。
【0224】
符号列復元部93は、制御部92の制御に基づいて、入力された試聴データが試聴再生される場合、入力された符号化フレームの拡張領域のデータのうち、試聴帯域内のデータを、信号成分復号部94が参照可能な位置に再配置し、更に、トーン成分情報のトーン成分数と、非トーン成分情報の量子化ユニット数を、試聴帯域に基づいて復元し、信号成分復号部94に出力する。また、符号列復元部93は、制御部92の制御に基づいて、入力された試聴データがオリジナルデータに復元されて再生される場合は、制御部92から供給されるトーン成分の正規化係数情報、トーン位置情報、および、スペクトル係数情報、並びに、非トーン成分の量子化精度情報、正規化係数情報、および、スペクトル係数情報などの各種情報を基に、試聴データの符号化フレームを、オリジナルデータの符号化フレームに復元する処理を実行し、復元されたオリジナルデータの符号化フレームを、信号成分復号部94に出力する。
【0225】
信号成分復号部94は、入力された試聴データ、もしくはオリジナルデータの符号化フレームを復号する。図24は、入力された符号化フレームが、トーン成分と非トーン成分に分割されて符号化された場合、その符号化フレームを復号する信号成分復号部94の更に詳細な構成を示すブロック図である。
【0226】
フレーム分離部101は、例えば、図14を用いて説明したような符号化フレームの入力を受け、トーン成分と非トーン成分とに分割し、トーン成分は、トーン成分復号部102に、非トーン成分は、非トーン成分復号部103に出力する。
【0227】
図25は、トーン成分復号部102の更に詳細な構成を示すブロック図である。逆量子化部111は、入力された符号化データを逆量子化し、逆正規化部112に出力する。逆正規化部112は、入力されたデータを逆正規化する。すなわち、逆量子化部111および逆正規化部112により、復号処理が行われて、トーン部分のスペクトル信号が出力される。
【0228】
図26は、非トーン成分復号部103の更に詳細な構成を示すブロック図である。逆量子化部121は、入力された符号化データを逆量子化し、逆正規化部122に出力する。逆正規化部122は、入力されたデータを逆正規化する。すなわち、逆量子化部121および逆正規化部122により、復号処理が行われて、非トーン部分のスペクトル信号が出力される。
【0229】
スペクトル信号合成部104は、トーン成分復号部102および非トーン成分復号部103から出力されたスペクトル信号の入力を受け、それらの信号を合成し、オリジナルデータであれば図6、あるいは、試聴データであれば図13を用いて説明したスペクトラム信号を生成して、逆変換部95に出力する。
【0230】
なお、符号化データが、トーン成分と非トーン成分とに分割されて符号化されていない場合、フレーム分離部101を省略し、トーン成分復号部102、もしくは、非トーン成分復号部103のうちのいずれか一方のみを用いて、復号処理を行うようにしても良い。
【0231】
図27は、逆変換部95の更に詳細な構成を示すブロック図である。
【0232】
信号分離部131は、入力されたフレームのヘッダに記載されている帯域分割数に基づいて、信号を分離する。ここでは、帯域分割数が2であり、信号分離部131が、入力されたスペクトル信号を逆スペクトル変換部132−1および132−2に分離するものとする。
【0233】
逆スペクトル変換部132−1および132−2は、入力されたスペクトル信号に対して、逆スペクトル変換し、得られた各帯域の信号を帯域合成フィルタ133に出力する。帯域合成フィルタ133は、入力された各帯域の信号を合成して出力する。
【0234】
帯域合成フィルタ133から出力された信号(例えば、オーディオPCM信号)は、例えば、図示しないD/A変換部でアナログデータに変換され、図示しないスピーカから、音声として再生出力される。また、帯域合成フィルタ133から出力された信号は、ネットワークなどを介して、他の装置に出力されるようにしても良い。
【0235】
次に、図28のフローチャートを参照して、図23のデータ再生装置5が実行する再生処理について説明する。
【0236】
ステップS31において、符号列分解部91は、試聴データの符号化フレームの入力を受ける。
【0237】
ステップS32において、符号列復元部93は、制御部92から入力される信号を基に、高音質再生、すなわち、オリジナルデータを復元して再生する処理が実行されるか否かを判断する。
【0238】
ステップS32において、高音質再生が実行されると判断された場合、ステップS33において、図30のフローチャートを用いて後述する高音質再生処理が実行される。
【0239】
ステップS32において、高音質再生が実行されないと判断された場合、入力されたフレームは、試聴データとして再生されるので、ステップS34において、図29のフローチャートを用いて後述する試聴データ再生処理が実行される。
【0240】
ステップS33、または、ステップS34の処理の終了後、ステップS35において、信号成分復号部94は、入力された符号列を、トーン成分と非トーン成分とに分割し、それぞれ、逆量子化および逆正規化を施すことにより復号し、復号によって生成されたスペクトル信号を合成して、逆変換部95に出力する。
【0241】
ステップS36において、逆変換部95は、入力されたスペクトル信号を、必要に応じて帯域分離し、それぞれ逆スペクトル変換した後、帯域合成して、時系列信号に逆変換し、処理が終了される。
【0242】
なお、逆変換部95によって逆変換されて生成された時系列信号は、図示しないD/A変換部によりアナログデータに変換されて、図示しないスピーカから再生出力されるようにしても良いし、図示しないネットワークを介して、他の装置などに出力されるようにしても良い。
【0243】
次に、図29のフローチャートを参照して、図28のステップS34において実行される、試聴データ再生処理について説明する。
【0244】
ステップS51において、試聴領域決定部96は、符号列分解部91により試聴データから抽出された、または、制御部92に予め保存されている試聴時間の設定値を取得する。
【0245】
ステップS52において、試聴領域決定部96は、ステップS51において取得された試聴時間の設定値を基に、試聴可能領域の中から、試聴開始位置を決定し、試聴時間以内の再生時間で再生される試聴フレームで構成される試聴領域を決定する。試聴開始位置は、例えば、乱数を発生させることなどにより、試聴可能領域と試聴時間に基づいた所定の領域内で、ランダムに設定することができる。また、予め定められた位置から試聴を開始するようにしても良いことは言うまでもない。試聴領域決定部96は、決定した試聴開始位置および試聴領域を、制御部92、および、符号列分解部91に出力する。
【0246】
符号列分解部91は、試聴領域決定部96から供給された試聴開始位置および試聴領域に基づいて、ステップS53において、試聴開始位置にアクセスし、ステップS54において、試聴領域として選択されたフレームの入力を受けて、符号列を分解し、符号列復元部93に出力する。
【0247】
ステップS55において、符号列復元部93は、制御部92の制御に従って、供給されたフレームの拡張領域に記載されている試聴帯域内のトーン成分の正規化係数情報、トーンの位置情報、および、スペクトル係数情報を、拡張領域から読み出して、信号成分復号部94が復号処理を実行する際に参照可能な位置に復元、すなわち、再配置する。
【0248】
ステップS56において、符号列復元部93は、制御部92の制御に従って、供給されたフレームの拡張領域に記載されている試聴帯域内の非トーン成分の量子化精度情報、正規化係数情報、および、スペクトル係数情報を、拡張領域から読み出して、信号成分復号部94が復号処理を実行する際に参照可能な位置に復元、すなわち、再配置する。
【0249】
ステップS57において、符号列復元部93は、制御部92の制御に従って、最小値(すなわち、0)とされている試聴フレームの量子化ユニット数とトーン成分数を、試聴帯域幅に基づいて変更する。例えば、図12および図13を用いて説明したように、試聴帯域が量子化ユニット[1]乃至量子化ユニット[12]であり、試聴帯域内のトーン成分がトーン成分41のみであった場合、量子化ユニット数を0から12に、トーン成分数を0から1に復元し、信号成分復号部94に出力する。信号成分復号部94は、入力されたフレームのデータを復号して、逆変換部95に出力する。逆変換部95は、入力されたデータを逆変換して、再生出力する。
【0250】
ステップS58において、制御部92は、処理されたフレームは、決定された試聴領域の最終フレームであるか否かを判断する。
【0251】
ステップS58において、最終フレームではないと判断された場合、処理は、ステップS54に戻り、それ以降の処理が繰り返される。ステップS58において、最終フレームであると判断された場合、処理は、図28のステップS35に進む。
【0252】
また、試聴データの開始、または終了部分、あるいは、複数の試聴領域の境界部分において、必要に応じて、例えば、フェードイン、フェードアウトなどの処理を行うことにより、不自然な再生を行わないようにすることができる。
【0253】
次に、図30のフローチャートを参照して、図28のステップS33において実行される高音質再生処理について説明する。
【0254】
ステップS71において、符号列分解部91は入力された符号列を分解し、符号列復元部93に出力する。
【0255】
ステップS72において、符号列復元部93は、入力されたフレームの拡張領域にデータが記録されているか否か、すなわち、入力されたフレームは、試聴可能フレームであるか、試聴不可フレームであるかを判断する。
【0256】
ステップS72において、入力されたフレームの拡張領域にデータが記録されている、すなわち、入力されたのは、試聴可能フレームであると判断された場合、ステップS73およびステップS74において、図29のステップS55およびステップS56と同様の処理が実行される。すなわち、試聴再生が実行される場合と同様に、拡張領域の試聴帯域内のデータが、再生可能な領域に再配置される。
【0257】
ステップS75において、符号列復元部93は、拡張領域に、試聴帯域より高域側の、トーン成分、または、非トーン成分の符号化データが存在するか否かを判断する。
【0258】
ステップS75において、拡張領域に、試聴帯域より高域側の、トーン成分、または、非トーン成分の符号化データが存在すると判断された場合、ステップS76において、符号列復元部93は、拡張領域から、トーン成分、または、非トーン成分の符号化データを読み出して、信号成分復号部94が復号処理を実行する際に参照可能な位置に復元、すなわち、再配置する。
【0259】
ステップS72において、入力されたフレームの拡張領域にデータが記録されていない、すなわち、入力されたのは、試聴可不可フレームであると判断された場合、ステップS75において、拡張領域に、試聴帯域より高域側の、トーン成分、または、非トーン成分の符号化データが存在しないと判断された場合、または、ステップS76の処理の終了後、ステップS77において、図31のフローチャートを用いて後述する、オリジナルデータ復元処理が実行される。
【0260】
ステップS78において、制御部92は、処理されたフレームは、最終フレームであるか否かを判断する。
【0261】
ステップS78において、最終フレームではないと判断された場合、処理は、ステップS71に戻り、それ以降の処理が繰り返される。ステップS78において、最終フレームであると判断された場合、信号成分復号部94は、入力されたフレームのデータを復号して、逆変換部95に出力する。逆変換部95は、入力されたデータを逆変換して、再生出力する。処理は、図28のステップS35に進む。
【0262】
次に、図31のフローチャートを参照して、図30のステップS77において実行されるオリジナルデータ復元処理について説明する。
【0263】
ステップS91において、符号列復元部93は、制御部92から、符号列を復元するための情報である追加データを取得する。
【0264】
オリジナルデータが、トーン成分と非トーン成分とに分離されている場合、追加データの追加フレームには、図15に示されるように、トーン成分に対応して、分離されたトーン成分数(ここでは2成分が分離されている)と、それぞれのトーン成分の正規化係数情報、トーン位置情報、およびスペクトル係数情報が、また、非トーン成分に対応して、分離された非トーン成分の正規化係数の数(ここでは4成分が分離されている)、量子化精度情報、正規化係数情報、および試聴時間情報に書き換えられた部分の真のスペクトル係数情報とその位置(Ad)とが記載されている。
【0265】
そして、オリジナルデータが、トーン成分と非トーン成分に分離されていない場合、図22に示されるように、追加フレームには、分離された量子化ユニットの量子化精度情報の数(ここでは4成分分離されている)、分離された量子化精度情報および正規化係数情報、並びに、試聴時間情報またはダミーデータに書き換えられた部分の真のスペクトル係数情報とその位置情報が記載されている。
【0266】
ステップS92において、符号列復元部93は、符号列分解部91により分解されたフレームの入力を受け、入力されたフレームは試聴可能フレームであるか否かを判断する。
【0267】
ステップS92において、入力されたフレームは、試聴可能フレームであると判断された場合、ステップS93において、符号列復元部93は、図15、または、図22を用いて説明した追加フレームに含まれるデータを用いて、試聴データのトーン成分において、分離、または、置き換えられた部分の情報を復元する。
【0268】
ステップS94において、符号列復元部93は、図15、または、図22を用いて説明した追加フレームに含まれるデータを用いて、試聴データの非トーン成分において、分離、または、置き換えられた部分の情報を復元する。
【0269】
ステップS95において、符号列復元部93は、量子化ユニット数とトーン成分数をオリジナルデータに対応する値(例えば、オリジナルデータが、図9を用いて説明したフレームによって構成されている場合、量子化ユニット数16、トーン成分数3)に復元して、復元されたデータを、信号成分復号部94に供給し、処理は、図30のステップS78に進む。
【0270】
ステップS92において、入力されたフレームは、試聴可能フレームではない、すなわち試聴不可フレーム(保護フレーム)であると判断された場合、ステップS96において、符号列復元部93は、試聴不可フレームに対応する追加フレームに含まれるトーン成分の、全ての量子化ユニットの正規化係数情報の真の値を用いて、試聴データの試聴フレームにおいて0に置き換えられているトーン成分全体の正規化係数情報を復元する。
【0271】
ステップS97において、符号列復元部93は、試聴不可フレームに対応する追加フレームに含まれる非トーン成分の、全ての量子化ユニットの量子化ユニットの正規化係数情報の真の値を用いて、試聴データの試聴フレームにおいて0に置き換えられている非トーン成分全体の正規化係数情報を復元する。
【0272】
ステップS98において、符号列復元部93は、試聴不可フレームに対応する追加フレームに含まれる非トーン成分の、全ての量子化ユニットのスペクトル係数情報の真の値を用いて、試聴データの試聴フレームにおいて試聴不可を示す制御情報、または、ダミーデータに置き換えられた部分の非トーン成分のスペクトル係数情報を復元して、復元されたデータを、信号成分復号部94に供給し、処理は、図30のステップS78に戻る。
【0273】
図30および図31のフローチャートを用いて説明した処理により、試聴データと追加データを用いて、オリジナルデータが復元される。
【0274】
なお、図28乃至図31を用いて説明した処理においては、トーン成分と非トーン成分とが分割されて符号化されている試聴データ、もしくは、その試聴データから復元されたオリジナルデータを再生する場合について説明しているが、トーン成分と非トーン成分とが分割されていない場合においても、同様にして、復元して、再生することが可能である。
【0275】
なお、図15を用いて説明した追加フレームで構成される追加データを用いてオリジナルデータを復元する、すなわち、試聴帯域よりも高域側の情報(試聴データを生成する際に分離された情報)が、全て追加データに記載されている場合、オリジナルデータの復元処理は、追加フレームに記載されているデータを基に行われるが、試聴帯域よりも高域側の情報の一部、もしくは全部が、試聴フレームの拡張領域(試聴再生時に参照されない領域)に記載されている場合、符号列復元部93は、追加フレームに記載されているデータに加えて、試聴フレーム内の拡張領域に記載されている、試聴帯域よりも高域側の情報を用いて、置き換えられている部分の正規化係数情報を復元する。
【0276】
図23乃至図31を用いて説明した処理により、復号された試聴データ、あるいは復元されて復号されたオリジナルデータは、図示しないスピーカなどを用いて再生されても、例えば、ネットワークなどを介して、他の装置に出力されるようにしても良い。
【0277】
次に、試聴データを記録媒体に記録する、もしくは、試聴データおよび追加フレームからオリジナルデータを復元して記録媒体に記録する場合の処理について説明する。
【0278】
図32は、データ記録装置7の構成を示すブロック図である。
【0279】
なお、図23のデータ再生装置5の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【0280】
すなわち、符号列分解部91は、符号化された試聴データの入力を受け、符号列を分解して、各信号成分の符号を抽出し、制御部92は、図示しない操作入力部から、ユーザの操作を受け、入力されたデータを高音質記録するか否か、すなわち、オリジナルデータを復元して記録する処理を実行するか否かを示す情報の入力を受けるとともに、追加データの入力を受け、符号列復元部93の処理を制御する。
【0281】
符号列復元部93は、制御部92の制御に基づいて、入力された試聴データが記録される場合は、入力された符号化フレームの拡張領域に記載されているデータのうち、試聴領域内のデータを復元して、記録部151に出力し、オリジナルデータが復元されて記録される場合には、入力された符号化フレームの拡張領域に記載されているデータを復元し、更に、制御部92から供給される、図15または図12を用いて説明した追加フレームのデータを基に、オリジナルデータの符号化フレームに復元する処理を実行し、復元されたオリジナルデータの符号化フレームを、記録部151に出力する。
【0282】
記録部151は、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ、あるいは、磁気テープなどの記録媒体に、所定の方法でデータを記録する。また、記録部151は、例えば、基板などに備えられているメモリや、ハードディスクなどのように、その内部に情報を記録するものであってもかまわない。例えば、記録部151が、光ディスクにデータを記録することが可能である場合、記録部151は、光ディスクに記録するために適したフォーマットにデータを変換するエンコーダ、レーザダイオードなどのレーザ光源、各種レンズ、および、偏向ビームスプリッタなどから構成される光学ユニット、光ディスクを回転駆動するスピンドルモータ、光学ユニットを光ディスクの所定のトラック位置に駆動する駆動部、並びにそれらを制御する制御部などから構成される。
【0283】
なお、記録部151に装着される記録媒体は、符号列分解部91、あるいは、制御部92に入力される試聴データ、あるいは、追加データが記録されていた記録媒体と同一のものであっても良い。
【0284】
次に、図33および図34のフローチャートを参照して、データ記録装置7が実行するデータ記録処理について説明する。
【0285】
符号列分解部91は、ステップS101において、試聴データの符号化フレームの入力を受け、ステップS102において、入力された符号列を分解し、符号列復元部93に出力する。
【0286】
ステップS103において、符号列復元部93は、入力されたフレームの拡張領域にデータが記録されているか否か、すなわち、入力されたフレームは、試聴可能フレームであるか、試聴不可フレームであるかを判断する。
【0287】
ステップS103において、入力されたフレームの拡張領域にデータが記録されている、すなわち、入力されたのは、試聴可能フレームであると判断された場合、ステップS104およびステップS105において、図29のステップS55およびステップS56と同様の処理が実行される。すなわち、試聴再生が実行される場合と同様に、拡張領域の試聴帯域内のデータが、再生可能な領域に再配置される。
【0288】
ステップS106において、符号列復元部93は、制御部92の制御に従って、最小値(すなわち、0)とされている試聴フレームの量子化ユニット数とトーン成分数を、試聴帯域幅に基づいて変更する。例えば、図12および図13を用いて説明したように、試聴帯域が量子化ユニット[1]乃至量子化ユニット[12]であり、試聴帯域内のトーン成分がトーン成分41のみであった場合、量子化ユニット数を0から12に、トーン成分数を0から1に復元し、信号成分復号部94に出力する。
【0289】
ステップS103において、入力されたフレームの拡張領域にデータが記録されていない、すなわち、入力されたのは、試聴不可フレームであると判断された場合、または、ステップS106の処理の終了後、ステップS107において、符号列復元部93は、制御部92から入力される信号を基に、高音質記録が実行されるか否かを判断する。
【0290】
ステップS107において、高音質記録が実行されると判断された場合、ステップS108乃至ステップS110において、図30のステップS75乃至びステップS77と同様の処理が実行される。すなわち、高音質再生が実行される場合と同様に、拡張領域の試聴帯域より高域側のデータが、再生可能な領域に再配置され、その後、オリジナルデータ復元処理にて、追加データに含まれている情報を基に、オリジナルデータが復元される。
【0291】
ステップS107において、高音質記録が実行されないと判断された場合、または、ステップS110の処理の終了後、ステップS111において、記録部151は、入力されたオリジナルデータ、もしくは試聴データに対応する符号列を、装着された記録媒体などに記録する。
【0292】
ステップS112において、制御部92は、ステップS111において、記録部151によって記録されたのは、オリジナルデータ、もしくは試聴データに対応する符号列の最終フレームであるか否かを判断する。
【0293】
ステップS112において、最終フレームではないと判断された場合、処理は、ステップS101に戻り、それ以降の処理が繰り返される。ステップS112において、最終フレームであると判断された場合、処理は終了される。
【0294】
本発明を適用することにより、試聴可能領域においては、試聴帯域外のデータを分離し、試聴フレームの量子化ユニット数とトーン成分数を最小値(すなわち、0)に変更し、更に、試聴帯域内のデータも、従来の復号方法では復号されない領域である拡張領域に配置を変更し、試聴再生処理時に参照されなくなるデータ(例えば、試聴帯域外のスペクトル係数情報)を試聴時間情報やダミーデータに置き換えて、試聴データを生成することができる。このような試聴データからオリジナルデータを推測することは非常に困難であり、また、試聴データを不正に改変しようとすると、かえって音質を劣化させる原因となるので、コンテンツの著作権や、コンテンツ販売者の権利を保護することが可能である。
【0295】
そして、試聴データが再生される場合、予め定められた試聴時間内のフレームを、その再生開始位置がランダムに変更されるように選択し、選択されたフレームにおいて、従来の復号方法では復号されない領域である拡張領域に配置されている試聴帯域内のデータを、復号時に参照可能な領域に再配置した後に復号するようにしたので、試聴時間を予め定められた時間内に抑えながら、試聴データのランダムな位置のデータを試聴再生(低音質での再生)することができる。すなわち、コンテンツの著作権や、コンテンツ販売者は、試聴データの多様な部分をユーザに試聴させることができるため、よりいっそう購買意欲を向上させるようにすることができる。
【0296】
そして、試聴データの生成時に分離された、あるいは置き換えられたデータおよびそのデータに関する情報(分離されたトーン成分数と、それぞれのトーン成分の正規化係数情報、トーン位置情報、およびスペクトル係数情報、並びに、分離された非トーン成分の正規化係数の数、量子化精度情報、正規化係数情報、および試聴時間情報またはダミーデータに書き換えられた部分の真のスペクトル係数情報とその位置)が記載された追加フレームにより構成される追加データを作成するようにしたので、追加データを用いて、試聴データからオリジナルデータを復元することが可能である。
【0297】
更に、追加フレームに記載される情報の一部、もしくは全部を、拡張領域に記載するようにした場合、追加データのデータ容量を少なくすることができるので、例えば、ユーザが、追加データをダウンロード処理により手に入れようとした場合の通信時間を短くすることができる。
【0298】
本発明を適用することにより、試聴データ、および、復元されたオリジナルデータを、再生出力したり、記録媒体に記録したリ、ネットワークなどを介して他の機器に出力することが可能である。
【0299】
以上では、オーディオ信号によるコンテンツデータの試聴データおよび対応する追加データを生成したり、試聴データおよび追加データから、オリジナルデータを復元して、再生したり、記録する処理について説明したが、本発明は、画像信号、あるいは、画像信号とオーディオ信号からなるコンテンツデータにも適応することが可能である。
【0300】
例えば、画像信号によるコンテンツデータを、二次元DCTを用いて変換し、多様な量子化テーブルを用いて量子化する場合、ダミーの量子化テーブルとして、高域成分を欠落させたものを指定し、必要に応じて、ダミーに対応する高域部分のスペクトル係数情報の領域に、試聴時間情報を記録して試聴データとする。追加データには、欠落された量子化テーブルの高域成分、および置き換えられたスペクトル係数情報が記載される。
【0301】
そして、オリジナルデータの復元時には、追加データを用いて、高域成分が欠落されていない真の量子化テーブルが復元され、真のスペクトル係数情報が復元されるので、オリジナルデータを復元して復号することができる。
【0302】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、符号化装置4、データ再生装置5、もしくは、データ記録装置7は、図35に示されるようなパーソナルコンピュータ161により構成される。
【0303】
図35において、CPU171は、ROM172に記憶されているプログラム、または記憶部178からRAM173にロードされたプログラムに従って、各種の処理を実行する。RAM173にはまた、CPU171が各種の処理を実行する上において必要なデータなども適宜記憶される。
【0304】
CPU171、ROM172、およびRAM173は、バス174を介して相互に接続されている。このバス174にはまた、入出力インタフェース175も接続されている。
【0305】
入出力インタフェース175には、キーボード、マウスなどよりなる入力部176、ディスプレイやスピーカなどよりなる出力部177、ハードディスクなどより構成される記憶部178、モデム、ターミナルアダプタなどより構成される通信部179が接続されている。通信部179は、インターネットを含むネットワークを介しての通信処理を行う。
【0306】
入出力インタフェース175にはまた、必要に応じてドライブ180が接続され、磁気ディスク191、光ディスク192、光磁気ディスク193、あるいは半導体メモリ194などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部178にインストールされる。
【0307】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【0308】
この記録媒体は、図35に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク191(フロッピディスクを含む)、光ディスク192(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク193(MD(Mini-Disk)(商標)を含む)、もしくは半導体メモリ194などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているROM172や、記憶部178に含まれるハードディスクなどで構成される。
【0309】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【0310】
(第2実施形態)
次に、第2実施形態について説明する。
【0311】
以下では、第2実施形態の特徴的な部分のみを説明し、それ以外の部分については上記第1実施形態と同様の構成を採用可能であるため、説明を省略する。また、言うまでもなく、当業者であれば、ビジネスアプリケーションに応じて第1実施形態と第2実施形態とを適切に組み合わせることができるこものと思料される。
【0312】
第2実施形態に係る信号符号列の再生側では、試し視聴時に、暗号化された信号符号列が鍵で復号化され、少なくとも一部に他の信号を重畳させて再生される。暗号化される信号符号列には、元の信号を圧縮するように符号化されたものを適用することが可能であり、他の信号にはメッセージ信号を適用することが可能である。
【0313】
つまり、本発明の方法は、例えば、本実施形態に係る再生方法・装置・ソフトウェアプログラム手段では、メッセージ信号を繰り返し音楽信号に重ね合わせた信号を試聴用として再生し、ユーザがその音を聞いて、この音楽を気に入り、正式に鍵を購入した場合には、上記メッセージ信号の重畳を行わないようにすることができるものである。また、本実施形態に係る本発明の他の方法は、例えば、再生方法・装置・ソフトウェアプログラム手段において、例えば、曲の一部を除き、狭帯域再生を行い、ユーザがその音を聞いて、この音楽を気に入り、正式に鍵を購入した場合には、上記狭帯域再生を行わないようにすることができる。
【0314】
なお、メッセージ信号の重畳/除去等の処理は、例えば、再生装置側にそのための機能要素を組み込んで実施する構成、或いはサーバ側で必要な処理をした後ストリーミング配信を行う構成等、個別のビジネスアプリケーションに応じ様々な構成を採用することができる。
【0315】
具体例を用いて説明する。
【0316】
図36は、第2実施形態において、試聴時に復号再生される信号の例を示したものである。この信号の試聴再生時には、一定の間隔を空けて、音楽に、例えば、「試聴データです。」というメッセージ信号を重ね合わせた信号が再生されることとなる。
【0317】
図37は、第2実施形態において、構成された、信号再生部301の実施例である。ここでは、音楽信号にメッセージ信号を重ね合わせて再生するか、音楽信号のまま再生するかの制御ができるようになっている。入力信号401は、この制御を行うための制御情報で、具体的には、ユーザがこの曲を試聴しているのか、購入したのか、といった情報を表す。入力信号402は、音楽信号の符号列の暗号を復号するための鍵信号で、この鍵情報の内容は、外部に知られないように保管・配布することが好適である。
【0318】
このためには、例えば、よく知られているように、以下のような方法をとることができる。先ず、鍵サーバ(図示せず)と制御部311は、それぞれ、乱数発生器と共通の秘密鍵を持つものとする。そして、最初に、鍵サーバは、乱数発生器を用いて乱数を発生し、これを秘密鍵で、例えば、DES(Data Encryption Standard)を用いて暗号化して、制御部311に送る。制御部311は、送られてきた暗号化された乱数を、秘密鍵を用いて復号し、復号された乱数の値に1を足して、これを秘密鍵でDESを用いて鍵サーバに送る。鍵サーバは、制御部311から送られてきた値を、秘密鍵を用いて復号し、この値が、自身が発生した乱数の値より1だけ大きいかどうかをチェックし、これが成り立てば、制御部311が秘密鍵を保持している正当なものであるとして認め、そうでなければ、正当なものとは認めずに、以後の処理を打ち切る。
【0319】
次に、鍵サーバと制御部311が逆の処理を行い、制御部311が鍵サーバを認証する。そして相互認証が済んだ後、最初に、鍵サーバが、発生した乱数を鍵として、暗号化された音楽信号符号列403を解くための鍵を暗号化して、鍵情報402(暗号化されている)として制御部311に送り、制御部311はこれを復号して、暗号復号部312に鍵情報404を送る。
【0320】
暗号化された音楽信号符号列403は、暗号復号部312で鍵情報404を用いて復号された後、信号復号部313に符号列405として送られる。信号復号部313は、復号したPCM(Pulse Code Modulation)信号を、信号重畳部314に送り、信号重畳部314は、制御部311の指示により、試聴用の再生であれば、メッセージ信号を重畳して出力し、既に購入された音楽信号であれば、メッセージ信号は重畳せず、そのままの信号を出力する。ここで、メッセージ信号と音楽信号の和信号がオーバーフローしてしまったり、メッセージ信号が音楽信号によってマスキングされてしまったりすることを防止するために、音楽信号のレベルを小さくして、メッセージ信号を重畳するようにすると都合が良い。
【0321】
なお、制御部311には、外部からは読めない、図示しない記憶部が装備されており、暗号化された音楽信号符号列403の暗号を復号する鍵を購入した場合には、この鍵をこの記憶部に格納し、さらにこの鍵を購入したことを示すフラグを格納するようにしても良い。さらにまた、制御部311を十分に信頼の高いものとして、暗号化された音楽信号符号列403を復号する鍵を購入しない場合にも、この鍵を上述した記憶部に格納し、さらにこの鍵を購入していないことを示すフラグを上述した記憶部に格納するようにしても良い。なお、図37の破線で囲まれた部分は、安全性を高めるため、例えば、1チップのLSI(Large Scale Integration)として構成されていることが望ましい。
【0322】
図38は、第2実施形態の方法で構成された他の信号再生部321の実施例で、ここでは、入力された音楽信号符号列をを狭帯域再生するか、広帯域再生するかの制御ができるようになっており、入力信号421は、この制御を行うための制御情報で、具体的には、ユーザがこの曲を試聴しているのか、購入したのか、といった情報を表す。入力信号422は、音楽信号の符号列の暗号を復号するための鍵情報を暗号化したもので、この鍵信号の内容は、例えば、図37に対して説明を行ったような方法で、外部に知られないように伝送される。伝送された、暗号化された鍵情報422は、制御部331に送られて、暗号を復号された後、鍵情報424として暗号復号部332に送られる。暗号復号部332に入力された、暗号化された音楽信号符号列423は、鍵情報424を用いて暗号を復号された後、信号成分書き換え分解部333に送られる。信号成分書き換え分解部333は、制御部331の制御に基づいて、狭帯域再生を行なう場合には、例えば、図39に示される符号列情報の暗号を復号したものを、図40に示すような符号列に書き換えた後、各信号成分を分解して信号成分復号部334に符号425として送る。
【0323】
なお、図39は、符号化された信号の符号列の実施例を示したものである。この実施例では、各フレームの先頭に同期信号を含む固定長のヘッダがついており、ここに符号化ユニット数も記録されている。ヘッダの次には量子化精度情報が、上述した符号化ユニット数だけ記録され、その後に正規化精度データが、上述した符号化ユニット数だけ記録されている。正規化および量子化されたスペクトル係数情報は、その後に記録されるが、フレームの長さが固定の場合、スペクトル係数情報の後に、空き領域ができても良い。この図の例は、量子化精度情報としては最低域の符号化ユニットの6ビットから最高域の符号化ユニットの2ビットまで図示されたように割り当てられ、正規化係数情報としては、最低域の符号化ユニットの46という値から最高域の符号化ユニットの22までの値まで図示されたように割り当てられている。なお、この正規化係数情報としては、ここではdB値に比例した値が用いられている。また、図39の符号列は全体にわたって暗号化が施されており、再生を行う場合にその暗号を復号する鍵が必要となる。
【0324】
ここで、図40に示された符号列では、高域側の量子化精度情報や正規化係数情報が0となっているので、この符号列からは、狭帯域の信号を再生することになる。信号成分復号部334は、このように、制御部331の制御に基づいて、信号成分書き換え分解部333によって一部の符号成分を書き換えられた符号、または、そのような書き換えが行なわれなかった符号425を受け取り、それらから信号成分426を復号する。これらの信号成分426は逆変換部335に送られ、時系列サンプルに逆変換されて信号427として出力される。
【0325】
なお、狭帯域化は、信号成分書き換え分解部333で行なわなくても、例えば、信号成分復号部334で、高域側のスペクトルをカットするようにしても良い。また、図37の例と同じく、制御部331に内蔵された、十分に安全な、図示しない記憶部に、音楽信号符号列423の暗号を復号する鍵や、信号を狭帯域再生させるかどうかのフラグ等を格納して、これにより再生信号の再生帯域を制御するようにしても良い。なお、この狭帯域化は、必ずしも信号すべての部分で行わなくても、一部のフレームのみで行うようにしても良い。こうすることにより、ユーザは購入した場合の音質も確認することができる。また、図38の破線で囲まれた部分は、安全性を高めるため、例えば、1チップのLSIとして構成されていることが望ましい。
【0326】
図40の符号列では、量子化精度情報と正規化係数情報の両者が0に書き換えられているが、これはこれらのうちのどちらか一方であっても良い。正規化係数情報のみ0にした場合には、厳密な意味では高域信号は0にならないが、非常に小さな信号成分となるので、実質的に狭帯域信号であるとみなしても問題は無い。なお、この他にも符号化ユニット数情報を書き換え、高域側の量子化精度情報、正規化係数情報を削除して、その分、スペクトル係数情報を前に詰めた符号列に書き直すといった手法も第2実施形態の方法に含まれる。
【0327】
図41はソフトウェアを用いて、メッセージ付きの音楽信号を再生するか、音楽のみの信号を再生するかを制御する、第2実施形態の方法による処理の実施例の流れを示すフローチャートである。
【0328】
先ず、ステップS211において、フレームの番号Jが1に設定され、処理は、ステップS212へと進み、ここで音楽信号符号列の暗号の復号が行われる。続いて、ステップS213において、信号符号列の復号が行われ、信号符号列が時系列サンプルに変換されて、処理は、ステップS214に進む。ステップS214では、音楽のみの再生を行うかどうかの判断が行われ、音楽のみの再生を行うのであれば(Yesであれば)、処理は、ステップS217に進み、音楽のみの再生を行うのでなければ(Noであれば)、処理は、ステップS215に進む。この判断は、例えば、この暗号の復号鍵を既に購入したものか、試聴のために一時的に使用しているものであるかどうかの判断に基づいて行うようにすれば良い。
【0329】
ステップS215では、このフレームをメッセージ付きのフレームにするかどうかの判断が行われ、メッセージ付きのフレームにする場合(Yes)、処理は、ステップS216に進み、メッセージ付きのフレームにしない場合(No)、処理は、ステップS217に進む。ステップS216では、音楽信号に対して、メッセージ付き信号への書き換えが行われる。この時、音楽信号とメッセージ信号の和がオーバーフローしたり、メッセージ信号が音楽信号でマスキングされたりしないように、音楽信号のレベルを下げるようにすると効果的である。
【0330】
ステップS216の処理が済むと、処理は、ステップS217に進む。ステップS217では、実際に時系列サンプルになっている信号の再生が行われ、次にステップS218に進んで、最終フレームであるかどうかのチェックが行われる。もし最終フレームであれば、処理が終了され、そうでなければ、処理は、ステップS219に進んで、Jの値が1増やされて、処理は、ステップS212に戻り、それ以降の処理が繰り返される。
【0331】
図42は、ソフトウェア用いて、すべて広帯域の音楽信号を再生するか、少なくとも一部のフレームでは狭帯域の音楽信号を再生するかを制御する、第2実施形態の方法による他の処理の実施例の流れを示すフローチャートである。
【0332】
先ず、ステップS231において、フレームの番号Jが1に設定され、処理は、ステップS232へと進み、ここで音楽信号符号列の暗号の復号が行われ、ステップS233に進む。ステップS233では、この音楽全体で広帯域再生を行うかどうかの判定が行われるが、この判断は、例えば、この暗号の復号鍵を既に購入したものか、試聴のために一時的に使用しているものであるかどうかの判断に基づいて行うようにすれば良い。この判断でYesの場合は、処理は、ステップS236に進み、Noの場合には、処理は、ステップS234に進む。ステップS234では、このフレームで狭帯域再生を行うかどうかが判断されるが、これは、例えば、このソフトウェアが最初の30秒間だけ広帯域再生を行い、他の部分では狭帯域再生を行うなど決めておき、これに従うようにすれば良い。このようにすると、ユーザは、この音楽を購入した場合の音質も確認することができる。
【0333】
ステップS234において、判断がYesならば、処理は、ステップS235に進み、Noであれば、処理は、ステップS236に進む。ステップS235では、符号列が、例えば、図39の符号列の暗号を復号したようなものから、図40のようなものに書き換えられることによって、符号列の狭帯域化が行われ、処理は、ステップS236に進む。ステップS236では、信号符号列が復号されて、信号音が再生され、ステップS237に進む。ステップS237では、このフレームが最終フレームであるかどうかのチェックが行われ、Yesであれば、処理が終了されて、Noであれば、ステップS238において、Jの値が1増やされて、処理は、ステップS232に戻り、それ以降の処理が繰り返される。
【0334】
以上、オーディオ信号を圧縮のための符号化したものに暗号化をかけたものを試聴する方法について述べたが、第2実施形態の方法は、特別に圧縮などのための符号化を行っていないPCM信号に対しても適用することが可能であり、第2実施形態においては、これら、元の信号そのままのものを含めて、信号符号列と呼ぶものとする。
【0335】
また以上、オーディオ信号を用いた場合を例にとって説明を行ったが、第2実施形態の方法は画像信号に対しても適用することが可能である。即ち、例えば、暗号化された画像信号を復号化して、制御部311または制御部331の制御に基づいて、その一部にメッセージ画像を重畳させたり、高い周波数の成分をカットしたりして、試し視聴させるようにしても良い。
【0336】
【発明の効果】
以上のように、本発明によれば、データ列を記録または再生することができる。
また、本発明によれば、そのままのデータ配置では再生または記録することができないデータの配置を変更して再配置することにより、再生可能なデータ列を復元して、記録または再生することができる。
【0337】
本発明の他の側面によれば、データ列を変換することが出来る他に、従来のデータ再生装置やデータ記録装置では、再生または記録できないデータであり、所定の装置により、データを再配置させることにより、再生または記録が可能となるデータ列を生成することができる。
【0338】
さらに本発明の他の側面によれば、ユーザは購入前に音楽の品質や全体の内容を知ることができるとともに、試聴用再生信号としては、メッセージ信号が重畳された音楽信号が再生されたり、少なくと一部の音楽信号が狭帯域で再生されることになり、例えば試聴用に提供された高音質信号がコピーされたりして、音楽等のコンテンツの販売権利者等が高音質音楽の販売ができなくなるなどということがなくなる。さらに、音楽だけに限らず、画像信号を含む信号符号列一般に対して、上記と同じ効果が得られるようになった。
【図面の簡単な説明】
【図1】本発明を適応した符号化装置、データ再生装置、およびデータ記録装置によるデータ授受システムを説明するための図である。
【図2】本発明を適用した符号化装置の構成を示すブロック図である。
【図3】図2の変換部の構成を示すブロック図である。
【図4】スペクトル信号と量子化ユニットについて説明する図である。
【図5】図2の信号成分符号化部の構成を示すブロック図である。
【図6】トーン成分および非トーン成分について説明するための図である。
【図7】図5のトーン成分符号化部の構成を示すブロック図である。
【図8】図5の非トーン成分符号化部の構成を示すブロック図である。
【図9】オリジナルデータのフレームのフォーマットについて説明する図である。
【図10】図2の試聴データ生成部の構成を示すブロック図である。
【図11】入力されるフレーム列の試聴可能領域および試聴不可領域について説明する図である。
【図12】分離されるデータについて説明する図である。
【図13】試聴される音声のスペクトル信号について説明する図である。
【図14】試聴フレームについて説明する図である。
【図15】追加フレームを説明する図である。
【図16】試聴データ生成処理について説明するフローチャートである。
【図17】試聴データ生成処理について説明するフローチャートである。
【図18】試聴データ生成処理について説明するフローチャートである。
【図19】トーン成分が分離されない場合のオリジナルデータのフレームについて説明する図である。
【図20】分離されるデータについて説明する図である。
【図21】トーン成分が分離されない場合の試聴フレームについて説明する図である。
【図22】トーン成分が分離されない場合の追加フレームについて説明する図である。
【図23】本発明を適用したデータ再生装置の構成を示すブロック図である。
【図24】図23の信号成分復号部の構成を示すブロック図である。
【図25】図24のトーン成分復号部の構成を示すブロック図である。
【図26】図24の非トーン成分復号部の構成を示すブロック図である。
【図27】図23の逆変換部の構成を示すブロック図である。
【図28】再生処理について説明するフローチャートである。
【図29】試聴データ再生処理について説明するフローチャートである。
【図30】高音質データ再生処理について説明するフローチャートである。
【図31】オリジナルデータ復元処理について説明するフローチャートである。
【図32】本発明を適用したデータ記録装置の構成を示すブロック図である。
【図33】データ記録処理について説明するフローチャートである。
【図34】データ記録処理について説明するフローチャートである。
【図35】パーソナルコンピュータの構成を示すブロック図である。
【図36】本発明を適用した試聴時に復号再生される信号の例を示す図である。
【図37】本発明を適用した信号再生手段の実施例を示したブロック図である。
【図38】本発明を適用した他の信号再生手段の実施例を示したブロック図である。
【図39】本発明に適用可能な符号列の実施例を説明するための図である。
【図40】本発明を適用した方法において再構成された符号列の実施例を示すブロック図である。
【図41】本発明を適用した信号再生方法の処理の流れの実施例を示すフローチャートである。
【図42】本発明を適用した他の信号再生方法の処理の流れの実施例を示すフローチャートである。
【符号の説明】
4 符号化装置,5 データ再生装置, 7 データ記録装置, 11 変換部, 12 信号成分符号化部, 13 符号列生成部, 14 試聴データ生成部, 61 試聴データ生成処理制御部, 62 試聴条件設定部, 63 帯域制限処理部, 64 拡張情報挿入部, 65 追加フレーム生成部, 66 試聴データ生成部, 67 追加データ生成部, 92 制御部, 93 符号列復元部, 96 試聴可能領域決定部
Claims (25)
- 第1のデータ列を基に生成された第2のデータ列の供給を受け、これを処理する情報処理装置の情報処理方法において、
所定の条件を基に、第2のデータ列から、第3のデータ列を生成する生成ステップと、
前記第3のデータ列の再生または記録を制御する第1の制御ステップと
を含み、
前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有し、
前記生成ステップの処理では、前記所定の条件を基に、前記第2のデータ列から、再生または記録することが可能なように再配置して、前記第3のデータ列を生成する
ことを特徴とする情報処理方法。 - 前記所定の条件は、前記第1の制御ステップの処理により制御される再生の時間または記録の時間に関する条件を含む
ことを特徴とする請求項1に記載の情報処理方法。 - 前記生成ステップの処理では、前記第1の制御ステップの処理により、前記第3のデータ列のランダムな箇所の再生または記録が制御されるように、前記第3のデータ列を生成する
ことを特徴とする請求項1に記載の情報処理方法。 - 前記第2のデータ列は、複数のフレームから構成され、その状態においてデータを再生または記録することができないようなデータ配置を有する第1のフレームを含み、
前記生成ステップの処理では、前記第2のデータ列の前記第1のフレームのうち、第2のフレームを選択して、前記第2のフレーム内のデータを、再生または記録することが可能なように再配置する
ことを特徴とする請求項1に記載の情報処理方法。 - 前記所定の条件は、前記第1の制御ステップの処理により制御される再生または記録の開始位置に関する情報を含む
ことを特徴とする請求項1に記載の情報処理方法。 - 前記所定の条件を示す情報の記憶を制御する記憶制御ステップ
を更に含むことを特徴とする請求項1に記載の情報処理方法。 - 前記第2のデータ列から抽出される、前記所定の条件を示す情報の取得を制御する取得制御ステップを更に含み、
前記生成ステップの処理では、取得された前記情報が示す前記所定の条件を基に、前記第2のデータ列から、再生または記録することが可能なように再配置して、前記第3のデータ列を生成する
ことを特徴とする請求項1に記載の情報処理方法。 - 前記第2のデータ列から前記第1のデータ列を復元する場合に必要な情報を含む第4のデータ列の取得を制御する取得制御ステップと、
前記取得制御ステップの処理により取得が制御された前記第4のデータ列を基に、前記第2のデータ列から前記第1のデータ列を復元する復元ステップと、
前記復元ステップの処理により復元された前記第1のデータ列の再生または記録を制御する第2の制御ステップと
を更に含むことを特徴とする請求項1に記載の情報処理方法。 - 前記第3のデータ列を復号する復号ステップを更に含み、
前記第1の制御ステップの処理では、前記復号ステップの処理により復号された前記第3のデータ列の再生または記録を制御し、
前記第2のデータ列は、符号化されたデータ列である
ことを特徴とする請求項1に記載の情報処理方法。 - 第1のデータ列を基に生成された第2のデータ列の供給を受け、これを処理する情報処理装置において、
所定の条件を基に、第2のデータ列から、第3のデータ列を生成する生成手段と、
前記第3のデータ列の再生または記録を制御する制御手段と
を備え、
前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有し、
前記生成手段は、前記所定の条件を基に、前記第2のデータ列から、再生または記録することが可能なように再配置して、前記第3のデータ列を生成する
ことを特徴とする情報処理装置。 - 前記所定の条件を記憶する記憶手段
を更に備えることを特徴とする請求項10に記載の情報処理装置。 - 第1のデータ列を基に生成された第2のデータ列の供給を受け、これを処理する情報処理装置用のプログラムであって、
所定の条件を基に、第2のデータ列から、第3のデータ列を生成する生成ステップと、
前記第3のデータ列の再生または記録を制御する制御ステップと
を含み、
前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有し、
前記生成ステップの処理では、前記所定の条件を基に、前記第2のデータ列から、再生または記録することが可能なように再配置して、前記第3のデータ列を生成する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 第1のデータ列を基に生成された第2のデータ列の供給を受け、これを処理する情報処理装置を制御するコンピュータが実行可能なプログラムであって、
所定の条件を基に、第2のデータ列から、第3のデータ列を生成する生成ステップと、
前記第3のデータ列の再生または記録を制御する制御ステップと
を含み、
前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有し、
前記生成ステップの処理では、前記所定の条件を基に、前記第2のデータ列から、再生または記録することが可能なように再配置して、前記第3のデータ列を生成する
ことを特徴とするプログラム。 - 第1のデータ列を第2のデータ列に変換する情報処理装置の情報処理方法において、
前記第1のデータ列に含まれている第1のデータを第2のデータに置き換えて、第3のデータ列を生成する第1の置き換えステップと、
前記第1の置き換えステップの処理により生成された前記第3のデータ列に含まれる第3のデータの配置を変更する変更ステップと、
前記変更ステップの処理により前記第3のデータの配置が変更された前記第3のデータ列に、前記第2のデータ列が再生または記録される場合の条件を示す情報を挿入する挿入ステップと、
前記挿入ステップの処理により、前記条件を示す情報が挿入された前記第3のデータ列を基に、前記第2のデータ列を生成する第1の生成ステップと
を含み、
前記変更ステップの処理では、前記第3のデータ列の第1の領域に記録されている前記第3のデータを第2の領域に移動し、
前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有する
ことを特徴とする情報処理方法。 - 前記第1の領域は、前記第1の生成ステップの処理により生成される前記第2のデータ列が再生または記録される場合に参照される領域に対応する、前記第3のデータ列内の領域であり、
前記第2の領域は、前記第1の生成ステップの処理により生成される前記第2のデータ列が再生または記録される場合に参照されない領域に対応する、前記第3のデータ列内の領域である
ことを特徴とする請求項14に記載の情報処理方法。 - 前記第1のデータ列、前記第2のデータ列、および前記第3のデータ列は、それぞれ複数のフレームにより構成され、
前記挿入ステップの処理では、前記第3のデータ列の複数の前記フレームのうちの少なくとも1つに、前記条件を示す情報を挿入し、
前記第1の生成ステップの処理により生成される前記第2のデータ列を構成する前記フレームは、前記挿入ステップの処理により、前記条件を示す情報が挿入されているか否かを示す情報を含む
ことを特徴とする請求項14に記載の情報処理方法。 - 前記挿入ステップの処理により前記第3のデータ列に挿入される、前記条件を示す情報は、前記第2のデータ列が再生または記録される場合の再生時間または記録時間に関する条件を含む
ことを特徴とする請求項14に記載の情報処理方法。 - 前記挿入ステップの処理により前記第3のデータ列に挿入される、前記所定の条件を示す情報は、前記第2のデータ列が再生または記録される場合の開始位置に関する情報を含む
ことを特徴とする請求項14に記載の情報処理方法。 - 前記第1のデータ列から、前記第1のデータ、および前記第3のデータとは異なる第4のデータを分離する分離ステップ
を更に含むことを特徴とする請求項14に記載の情報処理方法。 - 前記第1の生成ステップの処理により生成された前記第2のデータ列を前記第1のデータ列に復元するために必要な第4のデータ列を生成する第2の生成ステップを更に含み、
前記第2の生成ステップの処理により生成される前記第4のデータ列は、前記第1の置き換えステップの処理により前記第2のデータに置き換えられた前記第1のデータを含む
ことを特徴とする請求項14に記載の情報処理方法。 - 入力されたデータを符号化する符号化ステップを更に含み、
前記第1の置き換えステップの処理では、前記符号化ステップの処理により符号化された符号化データを前記第1のデータ列として、前記第1のデータ列に含まれている前記第1のデータを前記第2のデータと置き換える
ことを特徴とする請求項14に記載の情報処理方法。 - 前記第1のデータ列に含まれている前記第1のデータとは異なる第4のデータを、第5のデータに置き換える第2の置き換えステップを更に含み、
前記第5のデータは、前記第2のデータが再生または記録される場合に参照されないデータに対応するものであり、
前記変更ステップの処理では、前記第2の置き換えステップの処理により前記第4のデータが前記第5のデータに置き換えられた前記第3のデータ列に含まれる前記第3のデータの配置を変更する
ことを特徴とする請求項14に記載の情報処理方法。 - 第1のデータ列を第2のデータ列に変換する情報処理装置において、
前記第1のデータ列に含まれている第1のデータを第2のデータに置き換えて、第3のデータ列を生成する置き換え手段と、
前記置き換え手段により生成された前記第3のデータ列に含まれる第3のデータの配置を変更する変更手段と、
前記変更手段により前記第3のデータの配置が変更された前記第3のデータ列に、前記第2のデータ列が再生または記録される場合の条件を示す情報を挿入する挿入手段と、
前記挿入手段により、前記条件を示す情報が挿入された前記第3のデータ列を基に、前記第2のデータ列を生成する生成手段と
を備え、
前記変更手段は、前記第3のデータ列の第1の領域に記録されている前記第3のデータを第2の領域に移動し、
前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有する
ことを特徴とする情報処理装置。 - 第1のデータ列を第2のデータ列に変換する情報処理装置用のプログラムであって、
前記第1のデータ列に含まれている第1のデータを第2のデータに置き換えて、第3のデータ列を生成する置き換えステップと、
前記置き換えステップの処理により生成された前記第3のデータ列に含まれる第3のデータの配置を変更する変更ステップと、
前記変更ステップの処理により前記第3のデータの配置が変更された前記第3のデータ列に、前記第2のデータ列が再生または記録される場合の条件を示す情報を挿入する挿入ステップと、
前記挿入ステップの処理により、前記条件を示す情報が挿入された前記第3のデータ列を基に、前記第2のデータ列を生成する生成ステップと
を含み、
前記変更ステップの処理では、前記第3のデータ列の第1の領域に記録されている前記第3のデータを第2の領域に移動し、
前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有する
ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 第1のデータ列を第2のデータ列に変換する情報処理装置を制御するコンピュータが実行可能なプログラムであって、
前記第1のデータ列に含まれている第1のデータを第2のデータに置き換えて、第3のデータ列を生成する置き換えステップと、
前記置き換えステップの処理により生成された前記第3のデータ列に含まれる第3のデータの配置を変更する変更ステップと、
前記変更ステップの処理により前記第3のデータの配置が変更された前記第3のデータ列に、前記第2のデータ列が再生または記録される場合の条件を示す情報を挿入する挿入ステップと、
前記挿入ステップの処理により、前記条件を示す情報が挿入された前記第3のデータ列を基に、前記第2のデータ列を生成する生成ステップと
を含み、
前記変更ステップの処理では、前記第3のデータ列の第1の領域に記録されている前記第3のデータを第2の領域に移動し、
前記第2のデータ列は、その状態においてデータを再生または記録することができないようなデータ配置を有する
ことを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002253355A JP4193100B2 (ja) | 2002-08-30 | 2002-08-30 | 情報処理方法および情報処理装置、記録媒体、並びにプログラム |
US10/649,158 US20040044824A1 (en) | 2002-08-30 | 2003-08-27 | Information processing method, information processing apparatus, and program therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002253355A JP4193100B2 (ja) | 2002-08-30 | 2002-08-30 | 情報処理方法および情報処理装置、記録媒体、並びにプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004096320A JP2004096320A (ja) | 2004-03-25 |
JP2004096320A5 JP2004096320A5 (ja) | 2005-10-27 |
JP4193100B2 true JP4193100B2 (ja) | 2008-12-10 |
Family
ID=31972792
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002253355A Expired - Fee Related JP4193100B2 (ja) | 2002-08-30 | 2002-08-30 | 情報処理方法および情報処理装置、記録媒体、並びにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20040044824A1 (ja) |
JP (1) | JP4193100B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100636318B1 (ko) * | 2004-09-07 | 2006-10-18 | 삼성전자주식회사 | CoA 바인딩 프로토콜을 이용한 어드레스 오너쉽인증방법 및 그 시스템 |
JP2010028692A (ja) * | 2008-07-24 | 2010-02-04 | Nec Corp | コンテンツ再生装置およびコンテンツ不正再生防止方法 |
WO2012161697A1 (en) * | 2011-05-24 | 2012-11-29 | Empire Technology Development Llc | Encryption using real-world objects |
JP6379351B2 (ja) * | 2014-04-02 | 2018-08-29 | パナソニックIpマネジメント株式会社 | 無線通信装置、無線通信装置の制御方法 |
US10275186B2 (en) * | 2015-10-30 | 2019-04-30 | Sandisk Technologies Llc | System and method of data compression and data shaping |
JP2018092012A (ja) * | 2016-12-05 | 2018-06-14 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN113049252B (zh) * | 2021-03-25 | 2023-04-14 | 成都天佑路航轨道交通科技有限公司 | 一种列车轴承箱的故障检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4211166B2 (ja) * | 1999-12-10 | 2009-01-21 | ソニー株式会社 | 符号化装置及び方法、記録媒体、並びに復号装置及び方法 |
-
2002
- 2002-08-30 JP JP2002253355A patent/JP4193100B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-27 US US10/649,158 patent/US20040044824A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20040044824A1 (en) | 2004-03-04 |
JP2004096320A (ja) | 2004-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4239060B2 (ja) | 符号化装置および方法、データ処理装置および方法、並びにプログラム | |
US7372375B2 (en) | Signal reproducing method and device, signal recording method and device, and code sequence generating method and device | |
US6794996B2 (en) | Content supply system and information processing method | |
US7140037B2 (en) | Signal reproducing apparatus and method, signal recording apparatus and method, signal receiver, and information processing method | |
JP4193100B2 (ja) | 情報処理方法および情報処理装置、記録媒体、並びにプログラム | |
US20030112973A1 (en) | Signal processing method and apparatus, and code string generating method and apparatus | |
US20050021815A1 (en) | Method and device for generating data, method and device for restoring data, and program | |
US20040083258A1 (en) | Information processing method and apparatus, recording medium, and program | |
JP4691823B2 (ja) | 信号再生装置及び方法、信号記録装置及び方法、並びに信号処理方法 | |
JP4207109B2 (ja) | データ変換方法およびデータ変換装置、データ再生方法、データ復元方法、並びにプログラム | |
JP2004088619A (ja) | 符号列暗号化方法、装置および暗号解除方法、装置および記録媒体 | |
US20040250287A1 (en) | Method and apparatus for generating data, and method and apparatus for restoring data | |
JP2002314432A (ja) | 符号列生成装置及び方法、信号再生装置及び方法、並びにコンテンツ供給システム | |
JP2003308099A (ja) | データ変換方法およびデータ変換装置、データ復元方法およびデータ復元装置、データフォーマット、記録媒体、並びにプログラム | |
JP4066740B2 (ja) | 信号再生装置及び方法、信号記録装置及び方法、並びに符号列生成方法及び装置 | |
JP2003304158A (ja) | 信号再生方法及び装置、信号記録方法及び装置、並びに符号列生成方法及び装置 | |
JP2003304238A (ja) | 信号再生方法及び装置、信号記録方法及び装置、並びに符号列生成方法及び装置 | |
JP2003337599A (ja) | 信号再生方法及び装置、信号記録方法及び装置、並びに符号列生成方法及び装置 | |
JP2003308013A (ja) | データ変換方法およびデータ変換装置、データ復元方法およびデータ復元装置、データフォーマット、記録媒体、並びにプログラム | |
JP2003177791A (ja) | コンテンツ符号化装置、コンテンツ符号化方法、コンテンツ符号化プログラム、及びコンテンツ符号化プログラムが記録された記録媒体、並びにコンテンツ復号装置、コンテンツ復号方法、コンテンツ復号プログラム、及びコンテンツ復号プログラムが記録された記録媒体 | |
WO2003085836A1 (fr) | Procede d'enregistrement/lecture de signal, procede de generation d'une chaine de codes et programme | |
JP2003257121A (ja) | 信号再生方法及び装置、信号記録方法及び装置、並びに符号列生成方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050728 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050728 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080305 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080828 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080910 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |