JP4010066B2 - 画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法 - Google Patents
画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法 Download PDFInfo
- Publication number
- JP4010066B2 JP4010066B2 JP31759698A JP31759698A JP4010066B2 JP 4010066 B2 JP4010066 B2 JP 4010066B2 JP 31759698 A JP31759698 A JP 31759698A JP 31759698 A JP31759698 A JP 31759698A JP 4010066 B2 JP4010066 B2 JP 4010066B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- recording
- stream
- slice
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 53
- 238000012545 processing Methods 0.000 claims description 70
- 238000006243 chemical reaction Methods 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 27
- 102100037812 Medium-wave-sensitive opsin 1 Human genes 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims 4
- 229960001716 benzalkonium Drugs 0.000 claims 1
- CYDRXTMLKJDRQH-UHFFFAOYSA-N benzododecinium Chemical compound CCCCCCCCCCCC[N+](C)(C)CC1=CC=CC=C1 CYDRXTMLKJDRQH-UHFFFAOYSA-N 0.000 claims 1
- 238000012856 packing Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 24
- 238000012546 transfer Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 239000013256 coordination polymer Substances 0.000 description 13
- 238000012937 correction Methods 0.000 description 13
- 239000000872 buffer Substances 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 230000008707 rearrangement Effects 0.000 description 7
- 238000013139 quantization Methods 0.000 description 5
- 238000010422 painting Methods 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102100034274 Diamine acetyltransferase 1 Human genes 0.000 description 1
- 101000641077 Homo sapiens Diamine acetyltransferase 1 Proteins 0.000 description 1
- 101000969688 Homo sapiens Macrophage-expressed gene 1 protein Proteins 0.000 description 1
- 101000713305 Homo sapiens Sodium-coupled neutral amino acid transporter 1 Proteins 0.000 description 1
- 101000640813 Homo sapiens Sodium-coupled neutral amino acid transporter 2 Proteins 0.000 description 1
- 101000716973 Homo sapiens Thialysine N-epsilon-acetyltransferase Proteins 0.000 description 1
- 102100021285 Macrophage-expressed gene 1 protein Human genes 0.000 description 1
- 208000025174 PANDAS Diseases 0.000 description 1
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 description 1
- 240000000220 Panda oleosa Species 0.000 description 1
- 235000016496 Panda oleosa Nutrition 0.000 description 1
- 102100020926 Thialysine N-epsilon-acetyltransferase Human genes 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
- G11B20/12—Formatting, e.g. arrangement of data block or words on the record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
- H04N21/4334—Recording operations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/7824—Television signal recording using magnetic recording on tape with rotating magnetic heads
- H04N5/7826—Television signal recording using magnetic recording on tape with rotating magnetic heads involving helical scanning of the magnetic tape
- H04N5/78263—Television signal recording using magnetic recording on tape with rotating magnetic heads involving helical scanning of the magnetic tape for recording on tracks inclined relative to the direction of movement of the tape
- H04N5/78266—Television signal recording using magnetic recording on tape with rotating magnetic heads involving helical scanning of the magnetic tape for recording on tracks inclined relative to the direction of movement of the tape using more than one track for the recording of one television field or frame, i.e. segmented recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/78—Television signal recording using magnetic recording
- H04N5/782—Television signal recording using magnetic recording on tape
- H04N5/783—Adaptations for reproducing at a rate different from the recording rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/7921—Processing of colour television signals in connection with recording for more than one processing mode
- H04N9/7925—Processing of colour television signals in connection with recording for more than one processing mode for more than one standard
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/806—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
- H04N9/8063—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
- H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/88—Signal drop-out compensation
- H04N9/888—Signal drop-out compensation for signals recorded by pulse code modulation
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、例えばＭＰＥＧ２(Moving Picture Experts Group Phase 2)の画像データに対して適用される画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法に関する。
【０００２】
【従来の技術】
ディジタルＶＴＲ(VIdeo Tape Recorder) に代表されるように、ディジタル画像信号を記録媒体に記録し、また、記録媒体から再生するようなデータ記録再生装置が知られている。ディジタル画像信号の場合には、情報量が多いので、データ量が圧縮される。動画データのデータ量を圧縮する符号化としては、例えば画面（フレーム）間動き補償予測符号化が周知である。この符号化の標準的規格としてＭＰＥＧ２が知られている。
【０００３】
ＭＰＥＧ２の規格に準拠したピクチャデータを記録再生する場合、エレメンタリストリーム（ＥＳと略記する）、パケッタイズドエレメンタリストリーム（ＰＥＳと略記する）、トランスポートストリーム（ＴＳと略記する）の何れも記録再生可能である。ＥＳとは、エンコーダが出力するビットストリームであり、ビデオフレームに対応するアクセスユニットからなる。ＥＳがパケット化されたものがＰＥＳであり、各パケットには、ＰＥＳヘッダが含まれる。さらに、ＴＳは、１８８バイト長のパケットで区切られたものであり、パケッタイズドＥＳのデータが各パケットに分割される。各パケットには、ＴＳヘッダが含まれる。
【０００４】
また、ＭＰＥＧのデータ構造は、階層構造を有している。最上位の階層は、シーケンス層である。シーケンス層から下位に、ＧＯＰ(Group Of Picture)層、ピクチャ層、スライス層、マクロブロック層、ブロック層が規定され、また、各層に含まれるデータについても規定されている。最下位のブロック層は、ＤＣＴ(Discrete Cosine Transform) により発生したＤＣＴ係数データを含んでいる。また、マクロブロックは、４個の輝度信号のブロックとそれぞれ１個または２個の色差信号のブロックとからなる。従って、一つのマクロブロックには、合計６個または８個のブロックの係数データが含まれている。また、係数データは、可変長符号化されている。可変長符号化されたマクロブロックのデータに対してマクロブロックタイプ等のマクロブロックモードが付加されている。
【０００５】
ディジタルＶＴＲによってＭＰＥＧデータを記録／再生する場合、放送局の環境下では、ＴＳではなく、ＥＳを記録／再生することが有利である。その理由は、ディレイを最短にでき、スイッチングタイミングが明確になるからである。これらは、ＶＴＲが放送局で使用される場合には、非常に重要なポイントとなる。ＭＰＥＧのＥＳのインターフェースとして、(Serial Data Transport Interface Content Package) フォーマットを使用することができる。ここで、ＳＤＴＩ−ＣＰのフォーマットを使用したＥＳと、ＭＰＥＧのＴＳとを比較すると下記のような相違点がある。
【０００６】
ＳＤＴＩ−ＣＰの場合では、
クロック同期 ：ＳＤＩのＨ／Ｖ同期信号
フレーム同期 ：ＳＤＩのフレーム同期信号
デコードディレイ：１フレーム（ＥＮＣ／ＤＥＣで２フレーム）
ＭＰＥＧ−ＴＳの場合では、
クロック同期 ：ＰＣＲ
フレーム同期 ：ＰＥＳ上のＰＴＳ／ＤＴＳ
デコードディレイ：数フレーム（vbv delay に依存）
この比較から分かるように、ＴＳによる伝送は、距離が遠く離れた２点間で同期信号を別の手段で送ることができない場合には有利である。しかしながら、放送局内では、ハウスシンクと称される単一の同期信号で全てが運用されていて、身近に同期信号が得られるので、ストリーム中に同期信号ＰＣＲ(Program Clock Reference、プログラム時刻基準参照値) をのせる必要がない。フレーム同期についても同様で、タイムコードという時間基準が放送局内で統一的に運用されているので、ＰＥＳのＰＴＳ(Program Time Stamp)/ ＤＴＳ(Decoding Time Stamp) 等の新たなタイムスタンプは必要ない。
【０００７】
それよりも重要なことは、符号化／復号化を通してのディレイが短くなるような伝送方式が要求されていることである。ＴＳでは、伝送路を有効活用するために、vbv buffer（エンコーダが符号化時に想定しているデコーダ側のバッファ容量）を伝送レートの平滑化に使用しているが、このバッファサイズが大きいと、デコーダの遅延が大きくなってしまう。
【０００８】
一方、ＳＤＴＩ−ＣＰでは、十分な伝送帯域を使用することによって、１フレーム期間で１フレームのストリーム（ビデオ、オーディオ、付属的データ等）をバースト的に伝送することが可能である。その結果、ストリームのフレームの先頭は、必ずフレームの同期信号の後に位置し、ビデオ、オーディオ、付属的データの伝送路でのスイッチングが可能である。また、ＴＳのように、vbv bufferに蓄積する時間が必要なく、次のフレームでデコードが可能である。上述した理由から、特に放送局で使用されるようなディジタルＶＴＲは、ＥＳを入力でき、入力したＥＳをテープに記録し、テープから再生したデータをＥＳとして出力できることが望ましい。
【０００９】
【発明が解決しようとする課題】
ＥＳを記録／再生するようにした場合、ＶＴＲの特質からＭＰＥＧのシンタックス(syntax)のままでは、不都合が生じる。ＭＰＥＧ２では、可変長符号が採用され、データの同期検出機構として２３ビットの(0) に続く(1) がスタートコードとして使用されている。その最下位層の最小単位がスライスとなる。通常１ストライプ（１６ライン）で１スライスを構成するのが一般的であり、１ストライプは、画面の左端から可変長符号が始まり、右端で終わる。
【００１０】
１スライスが１ストライプとされたＭＰＥＧ ＥＳをＶＴＲによってそのままテープに記録した場合、エラーに対する耐性が弱く、スライス中の１箇所でもエラーが発生すると、エラーが画面の右端まで伝播し、次のスライスヘッダが検出されるまで復帰できない。また、断片的なデータしか再生できない変速再生を行うと、可変長符号の前の部分しか復号できないので、再生できる部分が画面の左端に集中し、均一に画面を更新することができない。さらに、高速再生時にテープ上のデータの配置を予測できないために、テープパターンを一定の間隔でトレースしたのでは、均一な画面更新ができなくなる。
【００１１】
さらに、ＭＰＥＧシンタックスでは、最大スライス長（最大マクロブロック長）を制限しておらず、元の画像データのデータ量より多いデータも許容している。その場合には、マクロブロック単位での係数並び替え等の処理に時間がかかり、バッファが必要となり、システムディレイが大きくなる問題が生じる。
【００１２】
マクロブロック単位の係数並び替えと関連して、パッキングについて説明する。ＶＴＲでは、記録、再生時の信号処理を容易とするために、所定長のデータに対して同期信号およびＩＤを付加し、シンクブロックが形成される。記録側において、データをシンクブロックのデータ領域に詰め込む処理をパッキングと称し、再生側において、シンクブロックのデータ領域からデータを取り出す処理をデパッキングと称する。また、積符号を使用している時には、パッキングによって積符号のＥＣＣ(Error Correctig Code)ブロックの１行分の長さにデータを詰め込まれる。
【００１３】
また、ＶＴＲの場合、１トラックまたは所定数のトラック当たりに記録できるデータ量が固定されているので、所定期間に発生する可変長符号のデータ量が目標値以下となるように、データ量が制御される。そして、所定期間に対して用意されている複数のシンクブロックのデータ領域に可変長符号化データをパッキングするようになされる。
【００１４】
マクロブロック単位の可変長データをパッキングする場合、データ量が選択される所定期間（編集単位である１フレーム）の全マクロブロック数に等しい数の固定枠（シンクブロックのデータ領域と対応する）を用意し、各固定枠に対して１個の可変長データを詰め込むようになされる。全マクロブロックを固定枠にそれぞれ先頭から詰め込んだ後に、固定枠からはみ出したオーバーフロー部分が空いている領域に対して順番に詰められる。その場合、各マクロブロックの可変長データの長さ情報が付加される。そして、再生時には、長さ情報を参照してデパッキングされる。
【００１５】
マクロブロックの可変長データは、４：２：２のビデオデータの場合に、８個のＤＣＴブロック毎にＤＣ係数（直流成分）から開始してジグザグスキャンでより高い周波数のＡＣ係数（交流成分）が出力される。従って、１マクロブロック（１スライス）に対応する可変長データの中に、各ＤＣＴブロックＤＣ係数あるいは低い周波数のＡＣ係数が分散して存在している。これらの成分は、ＤＣＴを復号して画像を復元する上で重要な成分である。ところが、上述したように、ＶＴＲの再生時に発生したエラーによって、可変長データの途中から復号できなくなる場合が生じる。また、ＶＴＲの変速再生時には、断片的にしかデータを再生できないので、デパッキングの処理がなされない。これらのエラーの伝播、変速再生時の処理を考慮すると、ＤＣ係数あるいは低い周波数のＡＣ係数が分散して存在していることは好ましくない。
【００１６】
さらに、ＭＰＥＧにおいて、画像データは、シーケンス、ＧＯＰ、ピクチャ、スライス、マクロブロック、ブロックの６層の階層構造を有しており、各階層の多重化処理がなされる。多重化処理は、ＭＰＥＧにおいてシンタックスとして規定されており、ピクチャデータ以外に、ＰＥＳ(Packetized Elementary Stream)ヘッダ、シーケンスヘッダ、ＧＯＰヘッダ、スライスヘッダ等のヘッダ情報が多重化される。ヘッダ情報は、ピクチャデータの復号等の処理にとって必要なものであり、ＭＰＥＧのＥＳを記録／再生する時には、ピクチャデータと共にヘッダ情報を記録／再生することが必要となる。ヘッダ情報を記録／再生する一つの方法としては、ヘッダ情報の全体またはその中で、再生にとって必要最小限のデータを固定長データとして記録／再生することが考えられる。
【００１７】
しかしながら、ヘッダ情報のデータ量を固定長データとして扱うことが難しい場合がある。一つには、種々の画像データのフォーマットが存在し、ヘッダ情報のデータ量が変動する。例えばアメリカのディジタルテレビジョン放送の画像フォーマットは、１８種類存在している。第２には、ビデオインデックスのデータとか、特定ライン上に多重化されるアンシラリイデータ(ancillary data)（クローズドキャプション、テレテキスト、垂直ブランキング期間のタイムコード（ＶＩＴＣ）等）をビデオＥＳとして伝送するために、ピクチャヘッダ中のユーザデータに挿入する場合には、ユーザデータのデータ量が変動する。
【００１８】
このように、本来の画像データでないにもかかわらず、そのデータ長が可変であるデータ（ヘッダ情報、ビデオインデックス、アンシラリイデータ等であり、これらを総称してピクチャデータ以外という意味で非画像データと称する）を記録するためには、個々の記録すべき画像フォーマットを考慮して記録領域を割り当てる必要があり、また、発生しうるデータ量の最大量を記録可能な記録領域を確保する必要がある。
【００１９】
画像フォーマットが１種類あるいは２種類程度である場合には、データ量の変動幅を比較的小さく、個々の画像フォーマットに対応して非画像データの記録領域をテープ上で設定することは、それほど難しくない。しかしながら、画像フォーマットの種類が多いと、非画像データのデータ量の変動幅が大きくなったり、予測できなくなり、非画像データ用の記録領域を設定することが難しくなる。また、発生しうるデータ量の最大量を記録可能な領域を設定すると、データ量が多くない時には、テープ上で記録に使用されない無駄な領域が生じ、テープの記録容量を有効に利用できない。
【００２０】
上述したように、ＭＰＥＧ ＥＳを記録／再生可能なディジタルＶＴＲを構築する場合には、ＥＳをＶＴＲに適したストリーム（デバイスストリームと称する）に変換する必要がある。その一つは、１スライス＝１マクロブロックのスライス構造に限定することである。また、マクロブロック内の複数のブロックのＤＣ係数、同一次数のＡＣ係数をまとめ、ＤＣ係数から順に並べるように、可変長データを並び替える必要もある。それによって、エラーの影響を少なくでき、また、変速再生時の画質を良好とできる。さらに、比較的多いデータ量で、可変長のデータでありうる非画像データを記録／再生できる必要がある。
【００２１】
従って、この発明の目的は、ＥＳの形態で外部とインターフェースすることが可能で、しかも、ＥＳをＶＴＲ内部の処理に適したデバイスストリームを変換することができる画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法を提供するものである。
【００２２】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、記録媒体に画像データを記録する画像データ記録装置において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数のブロックからなるマクロブロック層と、１以上のマクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取る受信部と、
受信部からのエレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換手段と、
デバイスストリームに対して記録処理を行う記録処理部と、
記録処理部からの記録データを記録媒体に記録する記録部とからなり、
記録側ストリーム変換手段は、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録装置である。
【００２３】
請求項２の発明は、記録媒体に画像データを記録し、記録媒体から画像データを再生する画像データ記録再生装置において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数のブロックからなるマクロブロック層と、１以上のマクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取る受信部と、
受信部からのエレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換手段と、
デバイスストリームに対して記録処理を行う記録処理部と、
記録処理部からの記録データを記録媒体に記録する記録部と、
記録媒体からデータを再生する再生部と、
再生部からの再生データに対して再生処理を行う再生処理部と、
再生処理部からのデバイスストリームをエレメンタリストリームへフォーマット変換する再生側ストリーム変換手段と、
再生側ストリーム変換手段からのエレメンタリストリームを外部へ出力する送信部とからなり、
記録側ストリーム変換手段は、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録再生装置である。
【００２４】
請求項９の発明は、記録媒体に画像データを記録する画像データ記録方法において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数のブロックからなるマクロブロック層と、１以上のマクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取るステップと、
受け取ったエレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換のステップと、
デバイスストリームに対して記録処理を行う記録処理のステップと、
記録処理で発生した記録データを記録媒体に記録するステップとからなり、
記録側ストリーム変換のステップは、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録方法である。
【００２５】
請求項１０の発明は、記録媒体に画像データを記録し、記録媒体から画像データを再生する画像データ記録再生方法において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数のブロックからなるマクロブロック層と、１以上のマクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取るステップと、
受け取ったエレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換のステップと、
デバイスストリームに対して記録処理を行う記録処理のステップと、
記録処理で発生した記録データを記録媒体に記録するステップと、
記録媒体からデータを再生するステップと、
再生データに対して再生処理を行う再生処理のステップと、
再生処理で発生したデバイスストリームをエレメンタリストリームへフォーマット変換する再生側ストリーム変換のステップと、
再生側ストリーム変換のステップで発生したエレメンタリストリームを外部へ出力する送信のステップとからなり、
記録側ストリーム変換のステップは、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録再生方法である。
【００２６】
記録側ストリーム変換によって、ＥＳをＶＴＲに適したデバイスストリームに変換できる。また、再生側ストリーム変換によって、デバイスストリームをＥＳに変換できる。さらに、インターフェースの受信部および送信部を備えるので、ＥＳにより例えば放送局全体をインターフェースすることが可能となる。それによって、ディレイの問題が発生せず、放送局内の編集等の処理がスムーズに行うことが可能となる。さらに、デバイスストリームでの記録／再生によって、ＶＴＲで発生するエラーの影響を低減でき、また、ＶＴＲの変速再生時の画質の向上を図ることができる。さらに、ストリームコンバータにおいて１マクロブロック当たりの可変長データの最大長を制限しているので、その最大長のデータをマクロブロックの時間内に転送できるだけのバンド幅を確保すれば良い。
【００２７】
【発明の実施の形態】
この発明によりディジタルＶＴＲは、放送局の環境で使用して好適なもので、互いに異なる複数のフォーマットのビデオ信号の記録／再生を可能とするものである。例えば、ＮＴＳＣ方式に基づいたインターレス走査で有効ライン数が４８０本の信号（４８０ｉ信号）およびＰＡＬ方式に基づいたインターレス走査で有効ライン数が５７６本の信号（５７６ｉ信号）の両者を殆どハードウエアを変更せずに記録／再生することが可能とされる。さらに、インターレス走査でライン数が１０８０本の信号（１０８０ｉ信号）、プログレッシブ走査（ノンインターレス）でライン数がそれぞれ４８０本、７２０本、１０８０本の信号（４８０ｐ信号、７２０ｐ信号、１０８０ｐ信号）なども記録／再生可能とされている。
【００２８】
また、この発明では、ビデオ信号は、ＭＰＥＧ２方式に基づき圧縮符号化される。周知のように、ＭＰＥＧ２は、動き補償予測符号化と、ＤＣＴによる圧縮符号化とを組み合わせたものである。ＭＰＥＧ２のデータ構造は、階層構造をなしており、下位から、ブロック層、マクロブロック層、スライス層、ピクチャ層、ＧＯＰ層およびシーケンス層となっている。
【００２９】
ブロック層は、ＤＣＴを行う単位であるＤＣＴブロックからなる。マクロブロック層は、複数のＤＣＴブロックで構成される。スライス層は、ヘッダ部と、行間をまたがらない任意個のマクロブロックより構成される。ピクチャ層は、ヘッダ部と、複数のスライスとから構成される。ピクチャは、１画面に対応する。ＧＯＰ層は、ヘッダ部と、フレーム内符号化に基づくピクチャであるＩピクチャと、予測符号化に基づくピクチャであるＰおよびＢピクチャとから構成される。
【００３０】
Ｉピクチャ(Intra-coded picture：イントラ符号化画像) は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【００３１】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【００３２】
ＭＰＥＧシンタックスでは、ＧＯＰには、最低１枚のＩピクチャが含まれ、ＰおよびＢピクチャは、存在しなくても許容される。最上層のシーケンス層は、ヘッダ部と複数のＧＯＰとから構成される。
【００３３】
ＭＰＥＧのフォーマットにおいては、スライスが１つの可変長符号系列である。可変長符号系列とは、可変長符号を復号化しなければデータの境界を検出できない系列である。
【００３４】
また、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層およびマクロブロック層の先頭には、それぞれ、バイト単位に整列された所定のビットパターンを有する識別コード（スタートコードと称される）が配される。なお、上述した各層のヘッダ部は、ヘッダ、拡張データまたはユーザデータをまとめて記述したものである。シーケンス層のヘッダには、画像（ピクチャ）のサイズ（縦横の画素数）等が記述される。ＧＯＰ層のヘッダには、タイムコードおよびＧＯＰを構成するピクチャ数等が記述される。
【００３５】
スライス層に含まれるマクロブロックは、複数のＤＣＴブロックの集合であり、ＤＣＴブロックの符号化系列は、量子化されたＤＣＴ係数の系列を０係数の連続回数（ラン）とその直後の非０系列（レベル）を１つの単位として可変長符号化したものである。マクロブロックならびにマクロブロック内のＤＣＴブロックには、バイト単位に整列した識別コードが付加されない。
【００３６】
マクロブロックは、画面（ピクチャ）を１６画素×１６ラインの格子状に分割したものである。スライスは、例えばこのマクロブロックを水平方向に連結してなる。連続するスライスの前のスライスの最後のマクロブロックと、次のスライスの先頭のマクロブロックとは連続しており、スライス間でのマクロブロックのオーバーラップを形成することは、許されていない。また、画面のサイズが決まると、１画面当たりのマクロブロック数は、一意に決まる。
【００３７】
一方、復号および符号化による信号の劣化を避けるためには、符号化データ上で編集することが望ましい。このとき、ＰピクチャおよびＢピクチャは、その復号に、時間的に前のピクチャあるいは前後のピクチャを必要とする。そのため、編集単位を１フレーム単位とすることができない。この点を考慮して、この一実施形態では、１つのＧＯＰが１枚のＩピクチャからなるようにしている。
【００３８】
また、例えば１フレーム分の記録データが記録される記録領域が所定のものとされる。ＭＰＥＧ２では、可変長符号化を用いているので、１フレーム期間に発生するデータを所定の記録領域に記録できるように、１フレーム分の発生データ量が制御される。
【００３９】
さらに、この一実施形態では、磁気テープへの記録に適するように、１スライスを１マクロブロックから構成すると共に、１マクロブロックを、所定長の固定枠に当てはめる。ＭＰＥＧでは、１スライスを１ストライプ（１６ライン）で構成するのが普通であり、画面の左端から可変長符号化が始まり、右端で終わる。この一実施形態では、エラーに対する耐性を高め、変速再生時の画面の更新率を高めるために、１スライスを１マクロブロックで構成する。
【００４０】
一実施形態の詳細な説明に先立って、この発明の概略的構成について図１を参照して説明する。但し、オーディオデータについては、省略している。図１において、１がＳＤＴＩ受信部である。ＭＰＥＧ ＥＳを伝送するために、ＳＤＴＩ−ＣＰ(Content Package) が使用される。また、２がＭＰＥＧのビデオエンコーダである。ＳＤＴＩ受信部１またはビデオエンコーダ２からのＥＳがフォーマットコンバータ３に供給される。このＥＳは、４：２：２のコンポーネントであり、また、全てＩピクチャのストリームであり、１ＧＯＰ＝１ピクチャの関係を有する。
【００４１】
フォーマットコンバータ３において、ＥＳがディジタルＶＴＲの記録に適したデバイスストリーム（ＮＸストリームと称する）に変換される。フォーマットコンバータ３では、１スライス＝１マクロブロックの関係にないＥＳについては、この関係を満たすような変換を行い、また、ヘッダ等の非画像データを１スライス（スライス０と称する）にまとめると共に、画像データのスライス（スライスＸと称する）およびスライス０のそれぞれの１スライスの最大長を制限し、さらに、ＤＣＴの係数データの順序の並び替えを行う。スライス０にまとめられた非画像データ中のシーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダは、ピクチャ毎に付加される。そして、フォーマットコンバータ３からは、固定のビットレート（２７Ｍ bps、５０Ｍ bps等）のＮＸストリーム（例えば８ビット幅）が出力される。
【００４２】
ＮＸストリームがＥＣＣエンコーダ４に供給される。ＥＣＣエンコーダ４は、主として、スライス０およびスライスＸを１フレーム単位でパッキングする処理と、エラー訂正符号の符号化処理と、データの並び替え（シャフリング）の処理を行う。ＥＣＣエンコーダ４は、これらの処理のために、大容量で高速アクセス可能なメモリを備えている。
【００４３】
ＥＣＣエンコーダ４の出力が記録部５に供給される。記録部５は、シンクおよびＩＤの付加、スクランブル処理、記録符号化（例えばパーシャル・レスポンスのプリコーディング）等の処理を行い、そこに含まれる回転ヘッドに対して、記録アンプを介して処理後のデータを供給する。回転ヘッドが記録媒体（例えば磁気テープ）６に対して記録データを記録する。
【００４４】
再生部１１に含まれる回転ヘッドによって記録媒体６からデータが再生され、増幅、記録符号化の復号、デスクランブル処理、シンクおよびＩＤの抽出等の処理が再生部１１においてなされる。再生部１１からの再生データがＥＣＣデコーダ１２に供給される。ＥＣＣデコーダ１２は、ＥＣＣエンコーダ４でなされた処理と逆の処理、すなわち、デシャフリング、エラー訂正、デパッキングを行い、さらに、訂正できないエラーを修整するエラーコンシールを行う。
【００４５】
ＥＣＣデコーダ１２から出力されるＮＸストリームがフォーマットコンバータ１３に供給される。フォーマットコンバータ１３は、ＮＸストリームをＭＰＥＧＥＳへ変換する。記録側のフォーマットコンバータ３が行った処理の結果、１ＧＯＰ＝１ピクチャでＩピクチャのみからなること、１スライス＝１マクロブロック、最大スライス長が制限されていることは、ＭＰＥＧシンタックスに反するものではない。一方、１ピクチャ毎に付加されているヘッダをシンタックスの規定に合致するように多重化する処理、係数の並び替えを元に戻す処理を再生側フォーマットコンバータ１３が行う。
【００４６】
フォーマットコンバータ１３からのＥＳがＳＤＴＩ送信部１４によって、ＳＤＴＩフォーマットのＥＳに変換され、外部に出力される。また、ＭＰＥＧのビデオデコーダ１５によってＥＳを復号することによって、ベースバンドのビデオデータを外部に出力することができる。さらに、記録側フォーマットコンバータ３の入力と、再生側フォーマットコンバータ１３の出力とが結合されている。なお、図１では省略しているが、ＶＴＲ全体を制御するコントローラ（ＣＰＵ）、タイミング生成器が設けられている。これらのコントローラおよびタイミング生成器は、例えば放送局の上位のコンピュータおよび基準タイミング生成器によって管理されている。
【００４７】
図１に示すディジタルＶＴＲは、記録時に、図２に示す接続関係とされる。図２Ａは、ベースバンドビデオデータを記録する場合の配置を示す。ビデオデータがビデオエンコーダ２によって符号化され、エンコーダ２からのＥＳがフォーマットコンバータ３において、ＮＸストリームに変換され、ＥＣＣエンコーダ４を介して記録される。同時に、ＥＳがＳＤＴＩ送信部１４を介して外部に出力され、また、ビデオデコーダ１５を介して外部に出力される。これらの外部に出力されたデータによって記録されるデータがモニタされる。図２Ｂは、ＳＤＴＩ受信部１を介して供給されるＥＳを記録する時の各ブロックの配置を示す。破線の経路で示すように、ＳＤＴＩ受信部１からのＥＳがビデオエンコーダ２に供給され、例えば１フレームのデータ量の制御等の処理を受ける場合もある。
【００４８】
また、再生時の接続関係を図３に示す。図３Ａは、通常の再生動作の各ブロックの配置を示す。記録媒体６から再生され、再生部１１を介された再生データがＥＣＣデコーダ１２に供給され、ＥＣＣデコーダ１２から出力されるＮＸストリームがフォーマットコンバータ１３に供給され、フォーマットコンバータ１３から再生ＥＳが出力される。再生ＥＳがＳＤＴＩ送信部１４を介してＳＤＴＩ ＥＳとして外部に出力され、また、ＭＰＥＧデコーダ１５で復号され、ベースバンドデータとして外部に出力される。図３Ｂに示す配置は、リードモディファイライト動作を可能とするものである。通常再生時と同様に再生されたＥＳがビデオデコーダ１５からビデオエンコーダ２に供給され、再びＥＳとして記録側フォーマットコンバータ３に供給される。このように、デコーダ１５およびエンコーダ２を通る時のディレイが大きいと、リードモディファイライト動作が不可能となる。しかしながら、この発明では、上述したように、ディレイを少なくしているので、かかる問題が生じない。
【００４９】
さらに、図４は、ダビング動作時の各ブロックの配置を示す。供給されたＳＤＴＩ ＥＳがＳＤＴＩ受信部１（またはビデオエンコーダ２）を通ってフォーマットコンバータ３に供給され、ＮＸストリームに変換される。そして、ＥＣＣエンコーダ４で処理されてから記録媒体６に記録される。記録されたデータが直ちに再生され、ＥＣＣデコーダ１２およびフォーマットコンバータ１３を通ってＥＳとされる。このＥＳがビデオデコーダ１５によってビデオデータとして外部へ出力され、また、ＳＤＴＩ受信部１４によってＳＤＴＩ ＥＳとして外部へ出力される。
【００５０】
ＥＳを伝送するために、上述したように、ＳＤＴＩ−ＣＰが使用される。これは、ＳＭＰＴＥ規格として提案されている。ＳＤＴＩ−ＣＰのフォーマットでは、ＭＰＥＧ ＥＳがアクセスユニットへ分離され、また、フレーム単位のパケットにパッキングされている。ＳＤＴＩ−ＣＰでは、十分な伝送帯域（クロックレートで２７ＭHzまたは３６ＭHz、ストリームビットレートで２７０Ｍ bpsまたは３６０Ｍ bps）を使用しており、１フレーム期間で図５に示すように、バースト的にＥＳを送ることが可能である。図５は、一般的なＭＰＥＧ ＥＳを伝送する場合を示し、各フレーム期間では、影を付した部分にデータが存在している。
【００５１】
図６は、パケットの構成を示すものである。ＥＡＶおよびＳＡＶは、各ラインに配されたタイミング基準信号である。全てのペイロードがＳＡＶから開始してＥＡＶで終わる区間内に配される。ＥＡＶからＳＡＶまでの間にヘッダデータが配され、また、この区間にアンシアリイデータ（ビデオアンシアリイデータ、ビデオインデックス等）およびユーザデータを配することが可能とされている。ヘッダデータには、ラインナンバー、ソースアドレス、ブロックタイプ等が含まれる。ブロックタイプは、ブロック長等を示すデータである。さらに、各ブロックに含まれるデータタイプによって、ストリームの種類（ＥＳ、ＴＳ等）が区別可能とされている。
【００５２】
ＳＡＶの後からＥＡＶまでの間に、システムデータ、ビデオストリーム、オーディオストリーム、ＡＵＸデータが配される。１フレーム期間全体にデータが存在せずに、その先頭から所定期間バースト状にデータが存在する。フレームの境界においてＳＤＴＩ−ＣＰのストリーム（ビデオおよびオーディオ）をストリームの状態でスイッチングすることができる。ＳＤＴＩ−ＣＰは、クロック基準としてＳＭＰＴＥタイムコードを使用したコンテンツの場合に、オーディオ、ビデオ間の同期を確立する機構を有する。さらに、ＳＤＴＩ−ＣＰとＳＤＩとが共存可能なように、フォーマットが決められている。
【００５３】
上述したＳＤＴＩ−ＣＰを使用したインターフェースは、ＴＳを転送する場合のように、エンコーダおよびデコーダがＶＢＶ(Video Buffer Verifier) バッファおよびＴＢｓ(Transport Buffers) を通る必要がなく、ディレイを少なくできる。また、ＳＤＴＩ−ＣＰ自体が極めて高速の転送が可能なこともディレイを一層少なくする。従って、放送局の全体を管理するような同期が存在する環境では、ＳＤＴＩ−ＣＰを使用することが有効である。
【００５４】
以上概説したこの発明の一実施形態について説明する。図７は、この一実施形態による記録再生装置の記録側の構成の一例を示す。記録時には、所定のインターフェース例えばＳＤＩ(Serial Data Interface) の受信部を介してディジタルビデオ信号が端子１０１から入力される。入力ビデオ信号は、ビデオエンコーダ１０２においてＤＣＴの処理を受け、係数データに変換され、係数データが可変長符号化される。ビデオエンコーダ１０２からの可変長符号化（ＶＬＣ）データは、ＭＰＥＧ２に準拠したＥＳである。この出力は、セレクタ１０３の一方の入力端に供給される。
【００５５】
一方、入力端子１０４を通じて、ＳＤＴＩのＥＳが入力される。この信号は、ＳＤＴＩ受信部１０５で同期検出される。そして、バッファに一旦溜め込まれ、ＥＳが抜き出される。抜き出されたＥＳは、セレクタ１０３の他方の入力端に供給される。
【００５６】
セレクタ１０３で選択され出力されたＥＳは、ストリームコンバータ１０６に供給される。ストリームコンバータ１０６では、ＭＰＥＧ２の規定に基づきＤＣＴブロック毎に並べられていたＤＣＴ係数を、１マクロブロックを構成する複数のＤＣＴブロックを通して、周波数成分毎にまとめ、まとめた周波数成分を並べ替える。また、ストリームコンバータ１０６は、図１中の記録側フォーマットコンバータ３に対応するものである。従って、ストリームコンバータ１０６は、ＥＳをディジタルＶＴＲの記録に適したデバイスストリームに変換する。
【００５７】
ストリームコンバータ１０６は、１スライス＝１マクロブロックの関係にないＥＳについては、この関係を満たすような変換を行い、また、ヘッダ等の非画像データを１スライス（スライス０と称する）にまとめると共に、画像データのスライス（スライスＸと称する）およびスライス０のそれぞれの１スライスの最大長を制限し、さらに、ＤＣＴの係数データの順序の並び替えを行う。スライス０にまとめられた非画像データ中のシーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダは、ピクチャ毎に付加される。さらに、１ＧＯＰ（ここでは、１フレーム）当たりのデータ量が目標量を越えるような外部ＥＳが入力される時には、ストリームコンバータ１０６が高次のＡＣ次数をゼロに置き換えることによって、データ量を抑えるようになされる。そして、ストリームコンバータ１０６からは、固定のビットレートのストリーム（例えば８ビット幅）が出力され、これがパッキングおよびシャフリング部１０７に供給される。
【００５８】
ストリームコンバータ１０６における変換を最短の時間で行うためには、係数並び替えは、画素レートのクロックで行い、前後とのデータのやり取りを行うバスの転送速度を十分に確保する必要がある。例えば画素レートが２７ＭHzのクロックレート、データ幅が８ビットの場合には、可変長データの最大長が３倍の２４ビットとなるので、２７ＭHz×２４ビットのバンド幅が必要である。この場合、ストリームコンバータ１０６の入出力を５４ＭHz×１６ビットのパンド幅としても良い。この場合では、１マクロブロック当たりの可変長データの最大長を制限する必要がなくなる。可変長データの最大長が制限されていれば、その最大長のデータをマクロブロック時間内に転送できるだけのバンド幅を確保すれば良い。例えば最大長を５１２バイトに制限する時には、２７ＭHz×８ビットでもって、ストリームコンバータ１０６とパッキングおよびシャフリング部１０７とをインターフェースすれば良い。
【００５９】
ＥＳのビデオデータは、可変長符号化されているため、各マクロブロックのデータの長さが不揃いである。パッキングおよびシャフリング部１０７では、マクロブロックが固定枠に詰め込まれる。このとき、固定枠からはみ出たオーバーフロー部分は、固定枠のサイズに対して空いている領域に順に詰め込まれる。また、画像フォーマット、シャフリングパターンのバージョン等の情報を有するシステムデータが入力端子１０８からパッキングおよびシャフリング部１０７に供給され、ピクチャデータと同様にシステムデータが記録処理を受ける。システムデータは、ビデオＡＵＸとして記録される。また、走査順に発生する１フレームのマクロブロックを並び替え、テープ上のマクロブロックの記録位置を分散させるシャフリングが行われる。シャフリングによって、変速再生時に断片的にデータが再生される時でも、画像の更新率を向上させることができる。
【００６０】
パッキングおよびシャフリング部１０７からのビデオデータおよびシステムデータ（以下、特に必要な場合を除き、システムデータを含む場合も単にビデオデータと言う。）が外符号エンコーダ１０９に供給される。ビデオデータおよびオーディオデータに対するエラー訂正符号としては、積符号が使用される。積符号は、ビデオデータまたはオーディオデータの２次元配列の縦方向に外符号の符号化を行い、その横方向に内符号の符号化を行い、データシンボルを２重に符号化するものである。外符号および内符号としては、リードソロモンコード(Reed-Solomon code) を使用できる。
【００６１】
外符号エンコーダ１０９の出力がシャフリング部１１０に供給され、複数のＥＣＣブロックにわたってシンクブロック単位で順番を入れ替える、シャフリングがなされる。シンクブロック単位のシャフリングによって特定のＥＣＣブロックにエラーが集中することが防止される。シャフリング部１１０でなされるシャフリングをインターリーブと称することもある。シャフリング部１１０の出力が混合部１１１に供給され、オーディオデータと混合される。なお、混合部１１１は、後述のように、メインメモリにより構成される。
【００６２】
１１２で示す入力端子からオーディオデータが供給される。この一実施形態では、非圧縮のディジタルオーディオ信号が扱われる。ディジタルオーディオ信号は、入力側のＳＤＩ受信部（図示しない）またはＳＤＴＩ受信部１０５で分離されたもの、またはオーディオインターフェースを介して入力されたものである。入力ディジタルオーディオ信号が遅延部１１３を介してＡＵＸ付加部１１４に供給される。遅延部１１３は、オーディオ信号とビデオ信号と時間合わせ用のものである。入力端子１１５から供給されるオーディオＡＵＸは、補助的データであり、オーディオデータのサンプリング周波数等のオーディオデータに関連する情報を有するデータである。オーディオＡＵＸは、ＡＵＸ付加部１１４にてオーディオデータに付加され、オーディオデータと同等に扱われる。
【００６３】
ＡＵＸ付加部１１４からのオーディオデータおよびＡＵＸ（以下、特に必要な場合を除き、ＡＵＸを含む場合も単にオーディオデータと言う。）が外符号エンコーダ１１６に供給される。外符号エンコーダ１１６は、オーディオデータに対して外符号の符号化を行う。外符号エンコーダ１１６の出力がシャフリング部１１７に供給され、シャフリング処理を受ける。オーディオシャフリングとして、シンクブロック単位のシャフリングと、チャンネル単位のシャフリングとがなされる。
【００６４】
シャフリング部１１７の出力が混合部１１１に供給され、ビデオデータとオーディオデータが１チャンネルのデータとされる。混合部１１１の出力がＩＤ付加部１１８が供給され、ＩＤ付加部１１８にて、シンクブロック番号を示す情報等を有するＩＤが付加される。ＩＤ付加部１１８の出力が内符号エンコーダ１１９に供給され、内符号の符号化がなされる。さらに、内符号エンコーダ１１９の出力が同期付加部１２０に供給され、シンクブロック毎の同期信号が付加される。同期信号が付加されることによってシンクブロックが連続する記録データが構成される。この記録データが記録アンプ１２１を介して回転ヘッド１２２に供給され、磁気テープ１２３上に記録される。回転ヘッド１２２は、実際には、隣接するトラックを形成するヘッドのアジマスが互いに異なる複数の磁気ヘッドが回転ドラムに取り付けられたものである。
【００６５】
記録データに対して必要に応じてスクランブル処理を行っても良い。また、記録時にディジタル変調を行っても良く、さらに、パーシャル・レスポンスクラス４とビタビ符号を使用しても良い。
【００６６】
図８は、この発明の一実施形態の再生側の構成の一例を示す。磁気テープ１２３から回転ヘッド１２２で再生された再生信号が再生アンプ１３１を介して同期検出部１３２に供給される。再生信号に対して、等化や波形整形などがなされる。また、ディジタル変調の復調、ビタビ復号等が必要に応じてなされる。同期検出部１３２は、シンクブロックの先頭に付加されている同期信号を検出する。同期検出によって、シンクブロックが切り出される。
【００６７】
同期検出ブロック１３２の出力が内符号エンコーダ１３３に供給され、内符号のエラー訂正がなされる。内符号エンコーダ１３３の出力がＩＤ補間部１３４に供給され、内符号によりエラーとされたシンクブロックのＩＤ例えばシンクブロック番号が補間される。ＩＤ補間部１３４の出力が分離部１３５に供給され、ビデオデータとオーディオデータとが分離される。上述したように、ビデオデータは、ＭＰＥＧのイントラ符号化で発生したＤＣＴ係数データおよびシステムデータを意味し、オーディオデータは、ＰＣＭ(Pulse Code Modulation) データおよびＡＵＸを意味する。
【００６８】
分離部１３５からのビデオデータがデシャフリング部１３６において、シャフリングと逆の処理がなされる。デシャフリング部１３６は、記録側のシャフリング部１１０でなされたシンクブロック単位のシャフリングを元に戻す処理を行う。デシャフリング部１３６の出力が外符号デコーダ１３７に供給され、外符号によるエラー訂正がなされる。訂正できないエラーが発生した場合には、エラーの有無を示すエラーフラグがエラー有りを示すものとされる。
【００６９】
外符号デコーダ１３７の出力がデシャフリングおよびデパッキング部１３８に供給される。デシャフリングおよびデパッキング部１３８は、記録側のパッキングおよびシャフリング部１０７でなされたマクロブロック単位のシャフリングを元に戻す処理を行う。また、デシャフリングおよびデパッキング部１３８では、記録時に施されたパッキングを分解する。すなわち、マクロブロック単位にデータの長さを戻して、元の可変長符号（不等長データ）を復元する。さらに、デシャフリングおよびデパッキング部１３８において、システムデータが分離され、出力端子１３９に取り出される。
【００７０】
デシャフリングおよびデパッキング部１３８の出力が補間部１４０に供給され、エラーフラグが立っている（すなわち、エラーのある）データが修整される。すなわち、変換前に、１マクロブロック（＝１スライス）の可変長データの途中にエラーがあるとされた場合には、エラー箇所以降の周波数成分のＤＣＴ係数が復元できない。そこで、例えばエラー箇所のデータをブロック終端符号（ＥＯＢ）に置き替え、それ以降の周波数成分のＤＣＴ係数をゼロとする。同様に、高速再生時にも、シンクブロック長に対応する長さまでのＤＣＴ係数のみを復元し、それ以降の係数は、ゼロデータに置き替えられる。さらに、補間部１４０では、ビデオデータの先頭に付加されているヘッダがエラーの場合に、ヘッダ（シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ、ユーザデータ等）を回復する処理もなされる。
【００７１】
ＤＣＴブロックに跨がって、ＤＣＴ係数がＤＣ成分および低域成分から高域成分へと並べられているため、このように、ある箇所以降からＤＣＴ係数を無視しても、マクロブロックを構成するＤＣＴブロックのそれぞれに対して、満遍なくＤＣならびに低域成分からのＤＣＴ係数を行き渡らせることができる。
【００７２】
補間部１４０の出力（デバイスストリーム）がストリームコンバータ１４１に供給される。ストリームコンバータ１４１では、記録側のストリームコンバータ１０６と逆の処理がなされる。すなわち、ＤＣＴブロックに跨がって周波数成分毎に並べられていたＤＣＴ係数を、ＤＣＴブロック毎に並び替える。これにより、再生信号がＭＰＥＧ２に準拠したＥＳに変換される。
【００７３】
また、ストリームコンバータ１４１の入出力は、記録側と同様に、マクロブロックの最大長に応じて、十分な転送レート（バンド幅）を確保しておく。マクロブロック（スライス）の長さを制限しない場合には、画素レートの３倍のバンド幅を確保するのが好ましい。
【００７４】
ストリームコンバータ１４１の出力がビデオデコーダ１４２に供給される。ビデオデコーダ１４２は、ＥＳを復号し、ビデオデータを出力する。すなわち、ビデオデコーダ１４２は、逆量子化処理と、逆ＤＣＴ処理とがなされる。復号ビデオデータが出力端子１４３に取り出される。外部とのインターフェースには、例えばＳＤＩが使用される。また、ストリームコンバータ１４１からのＥＳがＳＤＴＩ送信部１４４に供給される。ＳＤＴＩ送信部１４４には、経路の図示を省略しているが、システムデータ、再生オーディオデータ、ＡＵＸも供給され、ＳＤＴＩフォーマットのデータ構造を有するストリームへ変換される。ＳＤＴＩ送信部１４４からのストリームが出力端子１４５を通じて外部に出力される。
【００７５】
分離部１３５で分離されたオーディオデータがデシャフリング部１５１に供給される。デシャフリング部１５１は、記録側のシャフリング部１１７でなされたシャフリングと逆の処理を行う。デシャフリング部１１７の出力が外符号デコーダ１５２に供給され、外符号によるエラー訂正がなされる。外符号デコーダ１５２からは、エラー訂正されたオーディオデータが出力される。訂正できないエラーがあるデータに関しては、エラーフラグがセットされる。
【００７６】
外符号デコーダ１５２の出力がＡＵＸ分離部１５３に供給され、オーディオＡＵＸが分離される。分離されたオーディオＡＵＸが出力端子１５４に取り出される。また、オーディオデータが補間部１５５に供給される。補間部１５５では、エラーの有るサンプルが補間される。補間方法としては、時間的に前後の正しいデータの平均値で補間する平均値補間、前の正しいサンプルの値をホールドする前値ホールド等を使用できる。補間部１５５の出力が出力部１５６に供給される。出力部１５６は、エラーであり、補間できないオーディオ信号の出力を禁止するミュート処理、並びにビデオ信号との時間合わせのための遅延量調整処理がなされる。出力部１５６から出力端子１５７に再生オーディオ信号が取り出される。
【００７７】
なお、図７および図８では省略されているが、入力データと同期したタイミング信号を発生するタイミング発生部、記録再生装置の全体の動作を制御するシステムコントローラ（マイクロコンピュータ）等が備えられている。
【００７８】
この一実施形態では、磁気テープへの信号の記録は、回転する回転ヘッド上に設けられた磁気ヘッドにより、斜めのトラックを形成する、ヘリカルスキャン方式によって行われる。磁気ヘッドは、回転ドラム上の、互いに対向する位置に、それぞれ複数個が設けられる。すなわち、磁気テープが回転ヘッドに１８０°程度の巻き付け角で以て巻き付けられている場合、回転ヘッドの１８０°の回転により、同時に複数本のトラックを形成することができる。また、磁気ヘッドは、互いにアジマスの異なる２個で一組とされる。複数個の磁気ヘッドは、隣接するトラックのアジマスが互いに異なるように配置される。
【００７９】
図９は、上述した回転ヘッドにより磁気テープ上に形成されるトラックフォーマットの一例を示す。これは、１フレーム当たりのビデオおよびオーディオデータが８トラックで記録される例である。例えばフレーム周波数が２９．９７Ｈｚ、レートが５０Ｍｂｐｓ、有効ライン数が４８０本で有効水平画素数が７２０画素のインターレス信号（４８０ｉ信号）およびオーディオ信号が記録される。また、フレーム周波数が２５Ｈｚ、レートが５０Ｍｂｐｓ、有効ライン数が５７６本で有効水平画素数が７２０画素のインターレス信号（５７６ｉ信号）およびオーディオ信号も、図９と同一のテープフォーマットによって記録できる。
【００８０】
互いに異なるアジマスの２トラックによって１セグメントが構成される。すなわち、８トラックは、４セグメントからなる。セグメントを構成する１組のトラックに対して、アジマスと対応するトラック番号〔０〕とトラック番号〔１〕が付される。図９に示される例では、前半の８トラックと、後半の８トラックとの間で、トラック番号が入れ替えられると共に、フレーム毎に互いに異なるトラックシーケンスが付される。これにより、アジマスが異なる１組の磁気ヘッドのうち一方が、例えば目詰まりなどにより読み取り不能状態に陥っても、前フレームのデータを利用してエラーの影響を小とできる。
【００８１】
トラックのそれぞれにおいて、両端側にビデオデータが記録されるビデオセクタが配され、ビデオセクタに挟まれて、オーディオデータが記録されるオーディオセクタが配される。なお、この図９および後述する図１０は、テープ上のオーディオセクタの配置を示すものである。
【００８２】
図９のトラックフォーマットでは、８チャンネルのオーディオデータを扱うことができるようにされている。Ａ１〜Ａ８は、それぞれオーディオデータの１〜８ｃｈのセクタを示す。オーディオデータは、セグメント単位で配列を変えられて記録される。オーディオデータは、１フィールド期間で発生するオーディオサンプル（例えばフィールド周波数が２９．９７Hzで、サンプリング周波数が４８ｋHzの場合には、８００サンプルまたは８０１サンプル）が偶数番目のサンプルと奇数番目のサンプルとにわけられ、各サンプル群とＡＵＸによって積符号の１ＥＣＣブロックが構成される。
【００８３】
図９では、１フィールド分のオーディオデータが４トラックに記録されるので、オーディオデータの１チャンネル当たりの２個のＥＣＣブロックが４トラックに記録される。２個のＥＣＣブロックのデータ（外符号パリティを含む）が４個のセクタに分割され、図９に示すように、４トラックに分散されて記録される。２個のＥＣＣブロックに含まれる複数のシンクブロックがシャフリングされる。例えばＡ１の参照番号が付された４セクタによって、チャンネル１の２ＥＣＣブロックが構成される。
【００８４】
また、ビデオデータは、この例では、１トラックに対して４ＥＣＣブロック分のデータがシャフリング（インターリーブ）され、Ｕｐｐｅｒ ＳｉｄｅおよびＬｏｗｅｒ Ｓｉｄｅで各セクタに分割され記録される。Ｌｏｗｅｒ Ｓｉｄｅのビデオセクタには、所定位置にシステム領域が設けられる。
【００８５】
なお、図９において、ＳＡＴ１（Ｔｒ）およびＳＡＴ２（Ｔｍ）は、サーボロック用の信号が記録されるエリアである。また、各記録エリアの間には、所定の大きさのギャップ（Ｖｇ１，Ｓｇ１，Ａｇ，Ｓｇ２，Ｓｇ３およびＶｇ２）が設けられる。
【００８６】
図９は、１フレーム当たりのデータを８トラックで記録する例であるが、記録再生するデータのフォーマットによっては、１フレーム当たりのデータを４トラック、６トラックなどでの記録することができる。図１０Ａは、１フレームが６トラックのフォーマットである。この例では、トラックシーケンスが〔０〕のみとされる。
【００８７】
図１０Ｂに示すように、テープ上に記録されるデータは、シンクブロックと称される等間隔に区切られた複数のブロックからなる。図１０Ｃは、シンクブロックの構成を概略的に示す。詳細は後述するが、シンクブロックは、同期検出するためのＳＹＮＣパターン、シンクブロックのそれぞれを識別するためのＩＤ、後続するデータの内容を示すＤＩＤ、データパケットおよびエラー訂正用の内符号パリティから構成される。データは、シンクブロック単位でパケットとして扱われる。すなわち、記録あるいは再生されるデータ単位の最小のものが１シンクブロックである。シンクブロックが多数並べられて（図１０Ｂ）、例えばビデオセクタが形成される（図１０Ａ）。
【００８８】
図１１は、記録／再生の最小単位である、ビデオデータのシンクブロックのデータ構成をより具体的に示す。この一実施形態においては、記録するビデオデータのフォーマットに適応して１シンクブロックに対して１個乃至は２個のマクロブロックのデータ（ＶＬＣデータ）が格納されると共に、１シンクブロックのサイズが扱うビデオ信号のフォーマットに応じて長さが変更される。図１１Ａに示されるように、１シンクブロックは、先頭から、２バイトのＳＹＮＣパターン、２バイトのＩＤ、１バイトのＤＩＤ、例えば１１２バイト〜２０６バイトの間で可変に規定されるデータ領域および１２バイトのパリティ（内符号パリティ）からなる。なお、データ領域は、ペイロードとも称される。
【００８９】
先頭の２バイトのＳＹＮＣパターンは、同期検出用であり、所定のビットパターンを有する。固有のパターンに対して一致するＳＹＮＣパターンを検出することで、同期検出が行われる。
【００９０】
図１２Ａは、ＩＤ０およびＩＤ１のビットアサインの一例を示す。ＩＤは、シンクブロックが固有に持っている重要な情報を持っており、各２バイト（ＩＤ０およびＩＤ１）が割り当てられている。ＩＤ０は、１トラック中のシンクブロックのそれぞれを識別するための識別情報（ＳＹＮＣ ＩＤ）が格納される。ＳＹＮＣ ＩＤは、例えば各セクタ内のシンクブロックに対して付された通し番号である。ＳＹＮＣ ＩＤは、８ビットで表現される。ビデオのシンクブロックとオーディオのシンクブロックとでそれぞれ別個にＳＹＮＣ ＩＤが付される。
【００９１】
ＩＤ１は、シンクブロックのトラックに関する情報が格納される。ＭＳＢ側をビット７、ＬＳＢ側をビット０とした場合、このシンクブロックに関して、ビット７でトラックの上側（Ｕｐｐｅｒ）か下側（Ｌｏｗｅｒ）かが示され、ビット５〜ビット２で、トラックのセグメントが示される。また、ビット１は、トラックのアジマスに対応するトラック番号が示され、ビット０は、このシンクブロックがビデオデータおよびオーディオデータを区別するビットである。
【００９２】
図１２Ｂは、ビデオの場合のＤＩＤのビットアサインの一例を示す。ＤＩＤは、ペイロードに関する情報が格納される。上述したＩＤ１のビット０の値に基づき、ビデオおよびオーディオで、ＤＩＤの内容が異なる。ビット７〜ビット４は、未定義（Ｒｅｓｅｒｖｅｄ）とされている。ビット３および２は、ペイロードのモードであり、例えばペイロードのタイプが示される。ビット３および２は、補助的なものである。ビット１でペイロードに１個あるいは２個のマクロブロックが格納されることが示される。ビット０でペイロードに格納されるビデオデータが外符号パリティであるかどうかが示される。
【００９３】
図１２Ｃは、オーディオの場合のＤＩＤのビットアサインの一例を示す。ビット７〜ビット４は、Ｒｅｓｅｒｖｅｄとされている。ビット３でペイロードに格納されているデータがオーディオデータであるか、一般的なデータであるかどうかが示される。ペイロードに対して、圧縮符号化されたオーディオデータが格納されている場合には、ビット３がデータを示す値とされる。ビット２〜ビット０は、ＮＴＳＣ方式における、５フィールドシーケンスの情報が格納される。すなわち、ＮＴＳＣ方式においては、ビデオ信号の１フィールドに対してオーディオ信号は、サンプリング周波数が４８ｋＨｚの場合、８００サンプルおよび８０１サンプルの何れかであり、このシーケンスが５フィールド毎に揃う。ビット２〜ビット０によって、シーケンスの何処に位置するかが示される。
【００９４】
図１１に戻って説明すると、図１１Ｂ〜図１１Ｅは、上述のペイロードの例を示す。図１１Ｂおよび図１１Ｃは、ペイロードに対して、１および２マクロブロックのビデオデータ（不等長データ）が格納される場合の例をそれぞれ示す。図１１Ｂに示される、１マクロブロックが格納される例では、先頭の３バイトに、そのマクロブロックに対応する不等長データの長さを示すデータ長標識ＬＴが配される。なお、データ長標識ＬＴには、自分自身の長さを含んでも良いし、含まなくても良い。また、図１１Ｃに示される、２マクロブロックが格納される例では、先頭に第１のマクロブロックのデータ長標識ＬＴが配され、続けて第１のマクロブロックが配される。そして、第１のマクロブロックに続けて第２のマクロブロックの長さを示すデータ長標識ＬＴが配され、続けて第２のマクロブロックが配される。データ長標識ＬＴは、デパッキングのために必要な情報である。
【００９５】
図１１Ｄは、ペイロードに対して、ビデオＡＵＸ（補助的）データが格納される場合の例を示す。先頭のデータ長標識ＬＴには、ビデオＡＵＸデータの長さが記される。このデータ長標識ＬＴに続けて、５バイトのシステム情報、１２バイトのＰＩＣＴ情報、および９２バイトのユーザ情報が格納される。ペイロードの長さに対して余った部分は、Ｒｅｓｅｒｖｅｄとされる。
【００９６】
図１１Ｅは、ペイロードに対してオーディオデータが格納される場合の例を示す。オーディオデータは、ペイロードの全長にわたって詰め込むことができる。オーディオ信号は、圧縮処理などが施されない、例えばＰＣＭ形式で扱われる。これに限らず、所定の方式で圧縮符号化されたオーディオデータを扱うようにもできる。
【００９７】
この一実施形態においては、各シンクブロックのデータの格納領域であるペイロードの長さは、ビデオシンクブロックとオーディオシンクブロックとでそれぞれ最適に設定されているため、互いに等しい長さではない。また、ビデオデータを記録するシンクブロックの長さと、オーディオデータを記録するシンクブロックの長さとを、信号フォーマットに応じてそれぞれ最適な長さに設定される。これにより、複数の異なる信号フォーマットを統一的に扱うことができる。
【００９８】
図１３は、ビデオエンコーダ１０２の構成の一例を示す。端子５０から供給された信号は、ブロック化回路５１で、例えば１６画素×１６ラインのマクロブロックに分割される。このマクロブロックは、減算器５４の一方の入力端に供給されると共に、動き検出回路６０に供給される。さらに、入力された画像データは、統計処理回路５２にも供給される。統計処理回路５２では、所定の統計処理により入力画像データの複雑さが算出される。算出結果は、ビットレート制御回路５３に供給される。
【００９９】
動き検出回路６０では、ブロック化回路５１から供給されたマクロブロックと、後述する逆量子化回路６３および逆ＤＣＴ回路６２とを介して供給される、１フレーム（あるいは１フィールド）前のマクロブロックとを比較して、例えばブロックマッチングにより動き情報（動きベクトル）を得る。動き補償回路６１では、この動き情報に基づく動き補償が行われ、動き補償された結果が減算器５４の他方の入力端に供給される。
【０１００】
減算器５４で入力画像データと動き補償結果との差分が求められ、ＤＣＴ回路５５に供給される。ＤＣＴ回路５５では、この差分のマクロブロックをさらに８画素×８ラインからなるＤＣＴブロックに分割し、それぞれのＤＣＴブロックについて、ＤＣＴを行う。ＤＣＴ回路５５から出力されたＤＣＴ係数は、量子化回路５６で量子化される。量子化の際に、ビットレート制御回路５３からの制御情報に基づき、ビットレートが制御される。量子化されたＤＣＴ係数は、逆量子化回路６３およびジグザグスキャン回路５７に供給される。
【０１０１】
ジグザグスキャン回路５７では、ＤＣＴ係数がジグザグスキャンで出力され、ＤＣＴブロックそれぞれについて、ＤＣ成分および低域成分から高域成分に順に並べられる。このＤＣＴ係数は、ＶＬＣ回路５８で可変長符号化され、ＭＰＥＧ２に準拠したＥＳとして、出力端５９に導出される。出力されるＥＳは、マクロブロック単位の可変長符号化データであり、１スライス＝１マクロブロックとされている。
【０１０２】
この一実施形態では、ＩピクチャのみでＧＯＰを構成しているので、動き検出回路６０、動き補償回路６１、ローカルデコーダ等のフレーム間動き補償予測のための構成部分を省略しても良い。
【０１０３】
図１４Ａは、ＭＰＥＧエンコーダのＤＣＴ回路から出力されるビデオデータ中のＤＣＴ係数の順序を示す。ＤＣＴブロックにおいて左上のＤＣ成分から開始して、水平ならびに垂直空間周波数が高くなる方向に、ＤＣＴ係数がジグザグスキャンで出力される。その結果、図１４Ｂに一例が示されるように、全部で６４個（８画素×８ライン）のＤＣＴ係数が周波数成分順に並べられて得られる。
【０１０４】
このＤＣＴ係数がＭＰＥＧエンコーダのＶＬＣ部によって可変長符号化される。すなわち、最初の係数は、ＤＣ成分として固定的であり、次の成分（ＡＣ成分）からは、ゼロのランとそれに続くレベルに対応してコードが割り当てられる。従って、ＡＣ成分の係数データに対する可変長符号化出力は、周波数成分の低い（低次の）係数から高い（高次の）係数へと、ＡＣ1 ，ＡＣ2 ，ＡＣ3 ，・・・と並べられたものである。可変長符号化されたＤＣＴ係数をＥＳが含んでいる。可変長符号化は、１スライス単位でなされる。一実施形態の場合では、１マクロブロック単位で可変長符号化がなされている。
【０１０５】
ストリームコンバータ１０６では、供給された信号のＤＣＴ係数の並べ替えが行われる。すなわち、それぞれのマクロブロック内で、ジグザグスキャンによってＤＣＴブロック毎に周波数成分順に並べられたＤＣＴ係数がマクロブロックを構成する各ＤＣＴブロックにわたって周波数成分順に並べ替えられる。
【０１０６】
図１５は、このストリームコンバータ１０６におけるＤＣＴ係数の並べ替えを概略的に示す。（４：２：２）コンポーネント信号の場合に、１マクロブロックは、輝度信号Ｙによる４個のＤＣＴブロック（Ｙ1 ，Ｙ2 ，Ｙ3 およびＹ4 ）と、色度信号Ｃｂ，Ｃｒのそれぞれによる２個ずつのＤＣＴブロック（Ｃｂ1 ，Ｃｂ2 ，Ｃｒ1 およびＣｒ2 ）からなる。
【０１０７】
上述したように、ビデオエンコーダ１０２では、ＭＰＥＧ２の規定に従いジグザグスキャンが行われ、図１５Ａに示されるように、各ＤＣＴブロック毎に、ＤＣＴ係数がＤＣ成分および低域成分から高域成分に、周波数成分の順に並べられる。一つのＤＣＴブロックのスキャンが終了したら、次のＤＣＴブロックのスキャンが行われ、同様に、ＤＣＴ係数が並べられる。
【０１０８】
すなわち、マクロブロック内で、ＤＣＴブロックＹ1 ，Ｙ2 ，Ｙ3 およびＹ4 、ＤＣＴブロックＣｂ1 ，Ｃｂ2 ，Ｃｒ1 およびＣｒ2 のそれぞれについて、ＤＣＴ係数がＤＣ成分および低域成分から高域成分へと周波数順に並べられる。そして、連続したランとそれに続くレベルとからなる組に、〔ＤＣ，ＡＣ1 ，ＡＣ2 ，ＡＣ3 ，・・・〕と、それぞれ符号が割り当てられるように、可変長符号化されている。
【０１０９】
ストリームコンバータ１０６では、可変長符号化され並べられたＤＣＴ係数を、一旦可変長符号を解読して各係数の区切りを検出し、マクロブロックを構成する各ＤＣＴブロックに跨がって周波数成分毎にまとめる。この様子を、図１５Ｂに示す。最初にマクロブロック内の８個のＤＣＴブロックのＤＣ成分をまとめ、次に８個のＤＣＴブロックの最も周波数成分が低いＡＣ係数成分をまとめ、以下、順に同一次数のＡＣ係数をまとめるように、８個のＤＣＴブロックに跨がって係数データを並び替える。
【０１１０】
並び替えられた係数データは、ＤＣ（Ｙ1 ），ＤＣ（Ｙ2 ），ＤＣ（Ｙ3 ），ＤＣ（Ｙ4 ），ＤＣ（Ｃｂ1 ），ＤＣ（Ｃｂ2 ），ＤＣ（Ｃｒ1 ），ＤＣ（Ｃｒ2 ），ＡＣ1 （Ｙ1 ），ＡＣ1 （Ｙ2 ），ＡＣ1 （Ｙ3 ），ＡＣ1 （Ｙ4 ），ＡＣ1 （Ｃｂ1 ），ＡＣ1 （Ｃｂ2 ），ＡＣ1 （Ｃｒ1 ），ＡＣ1 （Ｃｒ2 ），・・・である。ここで、ＤＣ、ＡＣ1 、ＡＣ2 、・・・は、図１４を参照して説明したように、ランとそれに続くレベルとからなる組に対して割り当てられた可変長符号の各符号である。このように係数を並び替えることによって、１マクロブロックの可変長データの中で、画像復元のために重要なＤＣ成分および低次のＡＣ成分がシンクブロックの前の方に配置され、エラー耐性を高め、また、変速再生時の画像更新率を高めることができる。
【０１１１】
ストリームコンバータ１０６で係数データの順序が並べ替えられた変換ＥＳは、パッキングおよびシャフリング部１０７に供給される。マクロブロックのデータの長さは、変換ＥＳと変換前のＥＳとで同一である。また、ビデオエンコーダ１０２において、ビットレート制御によりＧＯＰ（１フレーム）単位に固定長化されていても、マクロブロック単位では、長さが変動している。パッキングおよびシャフリング部１０７では、マクロブロックのデータを固定枠に当てはめる。
【０１１２】
図１６は、パッキングおよびシャフリング部１０７でのマクロブロックのパッキング処理を概略的に示す。マクロブロックは、所定のデータ長を持つ固定枠に当てはめられ、パッキングされる。このとき用いられる固定枠のデータ長を、記録および再生の際のデータの最小単位であるシンクブロックのデータ長と一致させている。これは、シャフリングおよびエラー訂正符号化の処理を簡単に行うためである。図１６では、簡単のため、１フレームに８マクロブロックが含まれるものと仮定する。
【０１１３】
可変長符号化によって、図１６Ａに一例が示されるように、８マクロブロックの長さは、互いに異なる。この例では、固定枠である１シンクブロックのデータ領域の長さと比較して、マクロブロック＃１のデータ，＃３のデータおよび＃６のデータがそれぞれ長く、マクロブロック＃２のデータ，＃５のデータ，＃７のデータおよび＃８のデータがそれぞれ短い。また、マクロブロック＃４のデータは、１シンクブロックと略等しい長さである。
【０１１４】
パッキング処理によって、マクロブロックが１シンクブロック長の固定長枠に詰め込まれる。過不足無くデータを詰め込むことができるのは、１フレーム期間で発生するデータ量が固定量に制御されているからである。図１６Ｂに一例が示されるように、１シンクブロックと比較して長いマクロブロックは、シンクブロック長に対応する位置で分割される。分割されたマクロブロックのうち、シンクブロック長からはみ出た部分（オーバーフロー部分）は、先頭から順に空いている領域に、すなわち、長さがシンクブロック長に満たないマクロブロックの後ろに、詰め込まれる。
【０１１５】
図１６Ｂの例では、マクロブロック＃１の、シンクブロック長からはみ出た部分が、先ず、マクロブロック＃２の後ろに詰め込まれ、そこがシンクブロックの長さに達すると、マクロブロック＃５の後ろに詰め込まれる。次に、マクロブロック＃３の、シンクブロック長からはみ出た部分がマクロブロック＃７の後ろに詰め込まれる。さらに、マクロブロック＃６のシンクブロック長からはみ出た部分がマクロブロック＃７の後ろに詰め込まれ、さらにはみ出た部分がマクロブロック＃８の後ろに詰め込まれる。こうして、各マクロブロックがシンクブロック長の固定枠に対してパッキングされる。
【０１１６】
各マクロブロックに対応する不等長データの長さは、ストリームコンバータ１０６において予め調べておくことができる。これにより、このパッキング部１０７では、ＶＬＣデータをデコードして内容を検査すること無く、マクロブロックのデータの最後尾を知ることができる。
【０１１７】
図１７は、一実施形態で使用されるエラー訂正符号の一例を示し、図１７Ａは、ビデオデータに対するエラー訂正符号の１ＥＣＣブロックを示し、図１７Ｂは、オーディオデータに対するエラー訂正符号の１ＥＣＣブロックを示す。図１７Ａにおいて、ＶＬＣデータがパッキングおよびシャフリング部１０７からのデータである。ＶＬＣデータの各行に対して、ＳＹＮＣパターン、ＩＤ、ＤＩＤが付加され、さらに、内符号のパリティが付加されることによって、１ＳＹＮＣブロックが形成される。
【０１１８】
すなわち、ＶＬＣデータの配列の垂直方向に整列する所定数のシンボル（バイト）から１０バイトの外符号のパリティが生成され、その水平方向に整列する、ＩＤ、ＤＩＤおよびＶＬＣデータ（または外符号のパリティ）の所定数のシンボル（バイト）から内符号のパリティが生成される。図１７Ａの例では、１０個の外符号パリティのシンボルと、１２個の内符号のパリティのシンボルとが付加される。具体的なエラー訂正符号としては、リードソロモン符号が使用される。また、図１７Ａにおいて、１ＳＹＮＣブロック内のＶＬＣデータの長さが異なるのは、５９．９４Hz、２５Hz、２３．９７６Hzのように、ビデオデータのフレーム周波数が異なるのと対応するためである。
【０１１９】
図１７Ｂに示すように、オーディオデータに対する積符号もビデオデータに対するものと同様に、１０シンボルの外符号のパリティおよび１２シンボルの内符号のパリティを生成するものである。オーディオデータの場合は、サンプリング周波数が例えば４８ｋHzとされ、１サンプルが２４ビットに量子化される。１サンプルを他のビット数例えば１６ビットに変換しても良い。上述したフレーム周波数の相違に応じて、１ＳＹＮＣブロック内のオーディオデータの量が相違している。前述したように、１フィールド分のオーディオデータ／１チャンネルによって２ＥＣＣブロックが構成される。１ＥＣＣブロックには、偶数番目および奇数番目の一方のオーディオサンプルとオーディオＡＵＸとがデータとして含まれる。
【０１２０】
図１８は、この発明の一実施形態の記録側構成のより具体的な構成を示す。図１８において、１６４がＩＣに対して外付けのメインメモリ１６０のインターフェースである。メインメモリ１６０は、ＳＤＲＡＭで構成されている。インターフェース１６４によって、内部からのメインメモリ１６０に対する要求を調停し、メインメモリ１６０に対して書込み／読出しの処理を行う。また、パッキング部１０７ａ、ビデオシャフリング部１０７ｂ、パッキング部１０７ｃによって、パッキングおよびシャフリング部１０７が構成される。
【０１２１】
図１９は、メインメモリ１６０のアドレス構成の一例を示す。メインメモリ１６０は、例えば６４ＭビットのＳＤＲＡＭで構成される。メインメモリ１６０は、ビデオ領域２５０、オーバーフロー領域２５１およびオーディオ領域２５２を有する。ビデオ領域２５０は、４つのバンク（ｖｂａｎｋ＃０、ｖｂａｎｋ＃１、ｖｂａｎｋ＃２およびｖｂａｎｋ＃３）からなる。４バンクのそれぞれは、１等長化単位のディジタルビデオ信号が格納できる。１等長化単位は、発生するデータ量を略目標値に制御する単位であり、例えばビデオ信号の１ピクチャ（Ｉピクチャ）である。図１９中の、部分Ａは、ビデオ信号の１シンクブロックのデータ部分を示す。１シンクブロックには、フォーマットによって異なるバイト数のデータが挿入される（図１１Ａ参照）。複数のフォーマットに対応するために、最大のバイト数以上であって、処理に都合の良いバイト数例えば２５６バイトが１シンクブロックのデータサイズとされている。
【０１２２】
ビデオ領域の各バンクは、さらに、パッキング用領域２５０Ａと内符号化エンコーダへの出力用領域２５０Ｂとに分けられる。オーバーフロー領域２５１は、上述のビデオ領域に対応して、４つのバンクからなる。さらに、オーディオデータ処理用の領域２５２をメインメモリ１６０が有する。
【０１２３】
この一実施形態では、各マクロブロックのデータ長標識ＬＴを参照することによって、パッキング部１０７ａが固定枠長データと、固定枠を越える部分であるオーバーフローデータとをメインメモリ１６０の別々の領域に分けて記憶する。固定枠長データは、シンクブロックのデータ領域の長さ以下のデータであり、以下、ブロック長データと称する。ブロック長データを記憶する領域は、各バンクのパッキング処理用領域２５０Ａである。ブロック長より短いデータ長の場合には、メインメモリ１６０の対応する領域に空き領域を生じる。ビデオシャフリング部１０７ｂが書込みアドレスを制御することによってシャフリングを行う。ここで、ビデオシャフリング部１０７ｂは、ブロック長データのみをシャフリングし、オーバーフロー部分は、シャフリングせずに、オーバーフローデータに割り当てられた領域に書込まれる。
【０１２４】
次に、パッキング部１０７ｃが外符号エンコーダ１０９へのメモリにオーバーフロー部分をパッキングして読み込む処理を行う。すなわち、メインメモリ１６０から外符号エンコーダ１０９に用意されている１ＥＣＣブロック分のメモリに対してブロック長のデータを読み込み、若し、ブロック長のデータに空き領域が有れば、そこにオーバーフロー部分を読み込んでブロック長にデータが詰まるようにする。そして、１ＥＣＣブロック分のデータを読み込むと、読み込み処理を一時中断し、外符号エンコーダ１０９によって外符号のパリティを生成する。外符号パリティは、外符号エンコーダ１０９のメモリに格納する。外符号エンコーダ１０９の処理が１ＥＣＣブロック分終了すると、外符号エンコーダ１０９からデータおよび外符号パリティを内符号を行う順序に並び替えて、メインメモリ１６０のパッキング処理用領域２５０Ａと別の出力用領域２５０Ｂに書き戻す。ビデオシャフリング部１１０は、この外符号の符号化が終了したデータをメインメモリ１６０へ書き戻す時のアドレスを制御することによって、シンクブロック単位のシャフリングを行う。
【０１２５】
このようにブロック長データとオーバーフローデータとを分けてメインメモリ１６０の第１の領域２５０Ａへのデータの書込み（第１のパッキング処理）、外符号エンコーダ１０９へのメモリにオーバーフローデータをパッキングして読み込む処理（第２のパッキング処理）、外符号パリティの生成、データおよび外符号パリティをメインメモリ１６０の第２の領域２５０Ｂに書き戻す処理が１ＥＣＣブロック単位でなされる。外符号エンコーダ１０９がＥＣＣブロックのサイズのメモリを備えることによって、メインメモリ１６０へのアクセスの頻度を少なくすることができる。
【０１２６】
そして、１ピクチャに含まれる所定数のＥＣＣブロック（例えば３２個のＥＣＣブロック）の処理が終了すると、１ピクチャのパッキング、外符号の符号化が終了する。そして、インターフェース１６４を介してメインメモリ１６０の領域２５０Ｂから読出したデータがＩＤ付加部１１８、内符号エンコーダ１１９、同期付加部１２０で処理され、並列直列変換部１２４によって、同期付加部１２０の出力データがビットシリアルデータに変換される。出力されるシリアルデータがパーシャル・レスポンスクラス４のプリコーダ１２５により処理される。この出力が必要に応じてディジタル変調され、記録アンプ１２１を介して回転ヘッドに供給される。
【０１２７】
なお、ＥＣＣブロック内にヌルシンクと称する有効なデータが配されないシンクブロックを導入し、記録ビデオ信号のフォーマットの違いに対してＥＣＣブロックの構成の柔軟性を持たせるようにしても良い。ヌルシンクは、パッキングおよびシャフリングブロック１０７のパッキング部１０７ａにおいて生成され、メインメモリ１６０に書込まれる。従って、ヌルシンクがデータ記録領域を持つことになるので、これをオーバーフロー部分の記録用シンクとして使用することができる。
【０１２８】
オーディオデータの場合では、１フィールドのオーディオデータの偶数番目のサンプルと奇数番目のサンプルとがそれぞれ別のＥＣＣブロックを構成する。ＥＣＣの外符号の系列は、入力順序のオーディオサンプルで構成されるので、外符号系列のオーディオサンプルが入力される毎に外符号エンコーダ１１６が外符号パリティを生成する。外符号エンコーダ１１６の出力をメインメモリ１６０の領域２５２に書込む時のアドレス制御によって、シャフリング部１１７がシャフリング（チャンネル単位およびシンクブロック単位）を行う。
【０１２９】
さらに、１２６で示すＣＰＵインターフェースが設けられ、システムコントローラとして機能する外部のＣＰＵ１２７からのデータを受け取り、内部ブロックに対してパラメータの設定が可能とされている。複数のフォーマットに対応するために、シンクブロック長、パリティ長を始め多くのパラメータを設定することが可能とされている。パラメータの一つとしてのシャフリングテーブルデータがビデオ用シャフリングテーブル（ＲＡＭ）１２８ｖおよびオーディオ用シャフリングテーブル（ＲＡＭ）１２８ａに格納される。シャフリングテーブル１２８ｖは、ビデオシャフリング部１０７ｂおよび１１０のシャフリングのためのアドレス変換を行う。シャフリングテーブル１２８ａは、オーディオシャフリング１１７のためのアドレス変換を行う。
【０１３０】
上述したように、ストリームコンバータ１０６からは、マクロブロック内の係数データ（可変長符号）の同じ周波数成分をまとめるように並び替えたビデオデータ（ピクチャデータ）が発生する。例えばストリームコンバータ１０６がＳＤＴＩ受信部１０５に対してリードリクエストを発生することによって、ＳＤＴＩ受信部１０５のバッファに蓄えられているストリームを読み込むようになされる。このリートリクエストをパッキングおよびシャフリング部１０７が発行しても良い。ストリームコンバータ１０６からは、ピクチャデータ以外のヘッダ情報等の非画像データも発生する。
【０１３１】
非画像データは、ＭＰＥＧシンタックスで規定されたヘッダ（ＰＥＳヘッダ、シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ）、並びにピクチャヘッダ中のユーザデータとして含まれるアンシアリイデータ（Ancillary Data: クローズドキャプション、テレテキスト、ＶＩＴＣ等）である。非画像データは、画像フォーマット、ユーザデータの量等によってデータ量が変動する可変長データである。しかも、１フレーム当たりの非画像データの最大長を見積もることは難しい。また、ビデオＥＳの場合でも、マクロブロック当たりのデータの最大長を見積もることが難しい。ＭＰＥＧシンタックスでは、マクロブロック当たりのデータが原データより多くなることが許容されている。例えば１フレームの全マクロブロックの内で、本来の画像データが少なく、その多くをユーザデータにすることも可能である。
【０１３２】
この発明の一実施形態では、非画像データをピクチャデータと同等に扱うので、ストリームコンバータ１０６からパッキングおよびシャフリング部１０７に対して非画像データも供給され、ピクチャデータと共にパッキングされる。非画像データに対してては、１マクロブロックのピクチャデータと同様に、一つの固定枠が割り当てられ、その先頭に長さ標識が付加される。従って、１編集単位例えば１フレーム期間の発生データ量を所定のものに制御する場合には、非画像データを含むデータ量が所定のものに制御され、１フレームの全マクロブロックの数に１を加えた数の固定枠にピクチャデータおよび非画像データがパッキングされる。この一実施形態では、１ＧＯＰが１枚のＩピクチャで構成され、１スライスが１マクロブロックで構成され、ピクチャデータがスライス１から開始するので、便宜上、非画像データをスライス０と呼び、ピクチャデータのスライスを総称してスライスＸと呼ぶ。
【０１３３】
図２０および図２１を参照して、ストリームコンバータ１０６とパッキングおよびシャフリング部１０７との間のデータのインターフェースについて説明する。図２０は、スライスＸをストリーム（図１におけるストリームＮＸ）として伝送する場合を示す。図２０Ａに示すシンクパルスと同期して、図２０Ｂに示すように、スライスＸのデータ（バイトシリアルのストリーム）が転送される。転送レートは、入力画像データのフォーマットによって変わるが、例えばＭＰＥＧの規定の上限値である５０Ｍ bpsである。この転送レートと等しい周波数のベースバンドクロックが使用される。
【０１３４】
スライスＸの場合、シンクパルスが５４４クロックの周期で発生し、５４４クロック中で最大５１２クロック（５１２バイト）の期間でデータを転送するようになされる。各周期で、１スライスのピクチャデータが転送される。上述したように、１マクロブロックで発生するピクチャデータの最大長は、見積もりが難しいが、この一実施形態では、一例として、５１２バイトをスライスＸの１スライスが越えないように、ストリームコンバータ１０６において制限している。また、図２０Ｃに示すように、ストリームコンバータ１０６からは、各周期内で転送されるスライスの長さに一致した期間、ハイレベルとなるイネーブル信号をデータと同期して発生する。
【０１３５】
パッキングおよびシャフリング部１０７（パッキング部１０７ａ）では、図２０Ｄに示すように、シンクパルスでリセットされてからイネーブル信号のハイレベルの期間を計測することによって、各周期で転送されるスライスのデータ長を検出することができる。イネーブル信号を送る代わりに、パッキングおよびシャフリング部１０７において受け取ったデータをカウントする方法もあるが、予めストリームコンバータ１０６がストリームを知っているので、再度、パッキングおよびシャフリング部１０７において解析する必要がないことので、イネーブル信号を送るようにしている。
【０１３６】
図２１は、スライス０をストリームコンバータ１０６からストリーム（図１におけるストリームＮＸ）としてパッキングおよびシャフリング部１０７へ転送する場合を説明するものである。スライス０は、図２１Ｂに示すように、上述したスライスＸと同様に、５４４クロックの中の最大５１２クロックの区間を使用して転送される。但し、図２１Ａに示すように、スライス０の転送が終了するまでシンクパルスが発生せず、それによってスライス０が１スライスであることが指示される。図２１Ｃに示すように、各周期の中で、データの期間に対応してハイレベルとなるイネーブル信号も転送される。パッキングおよびシャフリング部１０７（パッキング部１０７ａ）では、図２１Ｄに示すように、シンクパルスでリセットされてからイネーブル信号のハイレベルの期間を計測することによって、スライス０のデータ長を検出することができる。
【０１３７】
なお、スライスＸは、図２０Ｅに示すように、固定の３バイトのスタートコード（０００００１）Ｈ（Ｈは１６進を意味する）の後に、スライススタートコード（０１）Ｈ〜（ＡＦ）Ｈが続くように規定されている。一方、スライス０の場合には、図２１Ｅに示すように、固定の３バイトのスタートコードの後に、sequence header code（Ｂ３）Ｈが続く。従って、スライス０とスライスＸとを識別するために、スライス０の場合には、スタートコードを（００００００）Ｈに変更する。他の方法として、スタートコードを共に（０００００１）Ｈとして、その後が（Ｂ３）Ｈかどうかを調べて、スライス０とスライスＸとを識別するようにしても良い。
【０１３８】
上述したインターフェースは、要約すると、スライスＸのシンクパルスの間隔が５４４クロックの固定とし、有効データの区間をイネーブル信号で示し、その最大長を５１２クロックとし、シンクパルスの間隔内でイネーブル信号の立ち上がりおよび立ち下がりがそれぞれ１回とされる。スライス０については、１シンク間隔内で、イネーブル信号の立ち上がりおよび立ち下がりが複数回あることがある。さらに、図２０Ｂおよび図２１Ｂにおいて斜線で示すように、スライス０およびスライスＸの何れの場合でも、シンクパルスの間隔より有効データの区間が短いので、データが転送されない期間が生じる。このデータを転送できない期間をスライス０およびスライスＸの両者に関して設けることによって、瞬間的に必要となるメインメモリ１６０の転送レートを下げることができ、消費電力の削減や内部メモリをなくすことが可能となる。
【０１３９】
シンクパルスは、ストリームコンバータ１０６がビデオＥＳから以下のような順序で生成する。
【０１４０】
にシンクパルスをhighとする。その後は、slice header(MB data) までlow のままとする。従って、user data のstart code等にはシンクパルスを付けない。
【０１４１】
さらに、上述したように、データを転送するインターフェースについて図２２を参照してより詳細に説明する。図２２Ａがシンクパルスを示し、図２２Ｂがストリームコンバータ１０６からのビデオＥＳを示す。図２２Ｂの例では、シンクパルスの間隔（５４４クロック）を４個使用してスライス０のデータを間欠的に転送し、その後、スライス１から順に転送している。
【０１４２】
スライス０がシーケンスヘッダが始まる場合では、スライス０のデータの内容は、例えば図２２Ｃに示すものである。スライス０は、第１のデータ部分、第２のデータ部分、第３のデータ部分からなる。第１のデータ部分は、sequence header() 、sequence extension()およびextension and user data(0)からなる。第２のデータ部分は、group of pictures header()およびextension and user data(1)からなる。第３のデータ部分は、picture header()、picture coding extension()およびextension and user data(2)からなる。この一実施形態では、sequence header() 、group of pictures header()、picture header()をピクチャ毎に必ず付けるようにしている。さらに、スライスＸ（スライス１、スライス２、・・・）には、それぞれslice() の後にmacroblock()が続くデータである。extension and user data() には、ビデオインデックス（垂直ブランキング期間内の特定のライン中に挿入されるコード化された情報）、ビデオアンシラリイデータ，クローズドキャプション、テレテキスト、ＶＩＴＣ（垂直ブランキング期間内に記録されるタイムコード）、ＬＴＣ（テープ長手方向に記録されるタイムコード）などのデータが収められる。
【０１４３】
各データの内容および多重化方法は、ＭＰＥＧシンタックス(ISO/IEC 13818-2) において規定されている。その一部について説明すると、図２３がスタートコード値の規定を示す。スタートコードは、ビデオＥＳ中で特異なビットパターンを有する。各スタートコードは、２バイトの所定のビット列(0000 0000 0000 0000) の後にスタートコード値が続くものである。例えばslice start codeが（０１〜ＡＦ）と規定され、sequence header codeが（Ｂ３）と規定されている。
【０１４４】
また、図２４は、ＭＰＥＧシンタックス（ビデオシーケンス）を示すものである。図２４中で現れ、上述したようなデータ、すなわち、sequence header() 、sequence extension()、extension and user data() 、group of pictures header()、picture header()、picture coding extension()がスライス０（非画像データ）として扱われる。
【０１４５】
図２５は、Sequence header の内容を示すものである。例えばhorizontal size value （１２ビット）が画像の横の画素数を表し、bit rate valueがビットレートを表す。図２６は、Group of pictures headerの内容を表す。例えばtime code がシーケンスの先頭からの時間を示し、closed gopは、ＧＯＰ内の画像が他のＧＯＰから独立して再生可能なことを示す。図２７は、Picture headerの内容を示す。例えばpicture coding type がピクチャタイプを示し、full pel forward vector が動きベクトルの精度が整数画素か半画素単位かを示す。
【０１４６】
なお、この発明は、ＭＰＥＧ２のみならず、ＭＰＥＧ１のストリームに対しても適用可能なことは勿論である。また、この発明は、１ＰＥＳ＝１ピクチャとされているＰＥＳを記録／再生する場合に対しても適用することができる。さらに、この発明は、磁気テープ以外の光テープ、光ディスク（光磁気ディスク、相変化型ディスク）等の記録媒体を使用する場合に対しても適用することができる。
【０１４７】
【発明の効果】
この発明では、ＭＰＥＧの規定に準拠したストリームを記録／再生することができ、また、このＥＳを入出力することができるので、ディレイの少ない記録／再生装置を構成することができる。また、ＭＰＥＧシンタックスに対して一部修正を加えたデバイスストリームを記録／再生するので、エラーに対する耐性を高め、変速再生時の画質を向上することができる。また、ストリームコンバータにおいて１マクロブロック当たりの可変長データの最大長を制限しているので、その最大長のデータをマクロブロックの時間内に転送できるだけのバンド幅を確保すれば良い利点がある。
【図面の簡単な説明】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の基本的構成の記録時の構成を示すブロック図である。
【図３】この発明の基本的構成の再生時の構成を示すブロック図である。
【図４】この発明の基本的構成のダビング時の構成を示すブロック図である。
【図５】この発明に使用するストリーム転送方法を示す略線図である。
【図６】この発明に使用するストリーム転送方法のパケット構成の一例を示す略線図である。
【図７】この発明の一実施形態の記録側の構成を示すブロック図である。
【図８】この発明の一実施形態の再生側の構成を示すブロック図である。
【図９】トラックフォーマットの一例を示す略線図である。
【図１０】トラックフォーマットの他の例を示す略線図である。
【図１１】シンクブロックの構成の複数の例を示す略線図である。
【図１２】シンクブロックに付加されるＩＤおよびＤＩＤの内容を示す略線図である。
【図１３】ビデオエンコーダの一例のブロック図である。
【図１４】ビデオエンコーダの出力の方法と可変長符号化を説明するための略線図である。
【図１５】ビデオエンコーダの出力の順序の並び替えを説明するための略線図である。
【図１６】順序の並び替えられたデータをシンクブロックにパッキングする処理を説明するための略線図である。
【図１７】ビデオデータおよびオーディオデータに対するエラー訂正符号を説明するための略線図である。
【図１８】記録信号処理部のより具体的なブロック図である。
【図１９】使用するメモリのメモリ空間を示す略線図である。
【図２０】画像データの転送方法を説明するためのタイミングチャートである。
【図２１】非画像データの転送方法を説明するためのタイミングチャートである。
【図２２】ストリームの転送方法を説明するためのタイミングチャートである。
【図２３】ＭＰＥＧシンタックスのスタートコード値の規定を示す略線図である。
【図２４】ＭＰＥＧシンタックスを説明するための略線図である。
【図２５】ＭＰＥＧシンタックスを説明するための略線図である。
【図２６】ＭＰＥＧシンタックスを説明するための略線図である。
【図２７】ＭＰＥＧシンタックスを説明するための略線図である。
【符号の説明】
１・・・ＳＤＴＩ受信部、２・・・ビデオエンコーダ、３・・・記録側フォーマットコンバータ、４・・・ＥＣＣエンコーダ、１２・・・ＥＣＣデコーダ、１３・・・再生側フォーマットコンバータ、１４・・・ＳＤＴＩ送信部、１５・・・ビデオデコーダ、１０６・・・ストリームコンバータ、１０７・・・パッキングおよびシャフリング部、１０９、１１６・・・外符号エンコーダ、１１０、１１７・・・シャフリング部、１１８・・・ＩＤ付加部、１２０・・・同期付加部、１６０・・・メインメモリ
【発明の属する技術分野】
この発明は、例えばＭＰＥＧ２(Moving Picture Experts Group Phase 2)の画像データに対して適用される画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法に関する。
【０００２】
【従来の技術】
ディジタルＶＴＲ(VIdeo Tape Recorder) に代表されるように、ディジタル画像信号を記録媒体に記録し、また、記録媒体から再生するようなデータ記録再生装置が知られている。ディジタル画像信号の場合には、情報量が多いので、データ量が圧縮される。動画データのデータ量を圧縮する符号化としては、例えば画面（フレーム）間動き補償予測符号化が周知である。この符号化の標準的規格としてＭＰＥＧ２が知られている。
【０００３】
ＭＰＥＧ２の規格に準拠したピクチャデータを記録再生する場合、エレメンタリストリーム（ＥＳと略記する）、パケッタイズドエレメンタリストリーム（ＰＥＳと略記する）、トランスポートストリーム（ＴＳと略記する）の何れも記録再生可能である。ＥＳとは、エンコーダが出力するビットストリームであり、ビデオフレームに対応するアクセスユニットからなる。ＥＳがパケット化されたものがＰＥＳであり、各パケットには、ＰＥＳヘッダが含まれる。さらに、ＴＳは、１８８バイト長のパケットで区切られたものであり、パケッタイズドＥＳのデータが各パケットに分割される。各パケットには、ＴＳヘッダが含まれる。
【０００４】
また、ＭＰＥＧのデータ構造は、階層構造を有している。最上位の階層は、シーケンス層である。シーケンス層から下位に、ＧＯＰ(Group Of Picture)層、ピクチャ層、スライス層、マクロブロック層、ブロック層が規定され、また、各層に含まれるデータについても規定されている。最下位のブロック層は、ＤＣＴ(Discrete Cosine Transform) により発生したＤＣＴ係数データを含んでいる。また、マクロブロックは、４個の輝度信号のブロックとそれぞれ１個または２個の色差信号のブロックとからなる。従って、一つのマクロブロックには、合計６個または８個のブロックの係数データが含まれている。また、係数データは、可変長符号化されている。可変長符号化されたマクロブロックのデータに対してマクロブロックタイプ等のマクロブロックモードが付加されている。
【０００５】
ディジタルＶＴＲによってＭＰＥＧデータを記録／再生する場合、放送局の環境下では、ＴＳではなく、ＥＳを記録／再生することが有利である。その理由は、ディレイを最短にでき、スイッチングタイミングが明確になるからである。これらは、ＶＴＲが放送局で使用される場合には、非常に重要なポイントとなる。ＭＰＥＧのＥＳのインターフェースとして、(Serial Data Transport Interface Content Package) フォーマットを使用することができる。ここで、ＳＤＴＩ−ＣＰのフォーマットを使用したＥＳと、ＭＰＥＧのＴＳとを比較すると下記のような相違点がある。
【０００６】
ＳＤＴＩ−ＣＰの場合では、
クロック同期 ：ＳＤＩのＨ／Ｖ同期信号
フレーム同期 ：ＳＤＩのフレーム同期信号
デコードディレイ：１フレーム（ＥＮＣ／ＤＥＣで２フレーム）
ＭＰＥＧ−ＴＳの場合では、
クロック同期 ：ＰＣＲ
フレーム同期 ：ＰＥＳ上のＰＴＳ／ＤＴＳ
デコードディレイ：数フレーム（vbv delay に依存）
この比較から分かるように、ＴＳによる伝送は、距離が遠く離れた２点間で同期信号を別の手段で送ることができない場合には有利である。しかしながら、放送局内では、ハウスシンクと称される単一の同期信号で全てが運用されていて、身近に同期信号が得られるので、ストリーム中に同期信号ＰＣＲ(Program Clock Reference、プログラム時刻基準参照値) をのせる必要がない。フレーム同期についても同様で、タイムコードという時間基準が放送局内で統一的に運用されているので、ＰＥＳのＰＴＳ(Program Time Stamp)/ ＤＴＳ(Decoding Time Stamp) 等の新たなタイムスタンプは必要ない。
【０００７】
それよりも重要なことは、符号化／復号化を通してのディレイが短くなるような伝送方式が要求されていることである。ＴＳでは、伝送路を有効活用するために、vbv buffer（エンコーダが符号化時に想定しているデコーダ側のバッファ容量）を伝送レートの平滑化に使用しているが、このバッファサイズが大きいと、デコーダの遅延が大きくなってしまう。
【０００８】
一方、ＳＤＴＩ−ＣＰでは、十分な伝送帯域を使用することによって、１フレーム期間で１フレームのストリーム（ビデオ、オーディオ、付属的データ等）をバースト的に伝送することが可能である。その結果、ストリームのフレームの先頭は、必ずフレームの同期信号の後に位置し、ビデオ、オーディオ、付属的データの伝送路でのスイッチングが可能である。また、ＴＳのように、vbv bufferに蓄積する時間が必要なく、次のフレームでデコードが可能である。上述した理由から、特に放送局で使用されるようなディジタルＶＴＲは、ＥＳを入力でき、入力したＥＳをテープに記録し、テープから再生したデータをＥＳとして出力できることが望ましい。
【０００９】
【発明が解決しようとする課題】
ＥＳを記録／再生するようにした場合、ＶＴＲの特質からＭＰＥＧのシンタックス(syntax)のままでは、不都合が生じる。ＭＰＥＧ２では、可変長符号が採用され、データの同期検出機構として２３ビットの(0) に続く(1) がスタートコードとして使用されている。その最下位層の最小単位がスライスとなる。通常１ストライプ（１６ライン）で１スライスを構成するのが一般的であり、１ストライプは、画面の左端から可変長符号が始まり、右端で終わる。
【００１０】
１スライスが１ストライプとされたＭＰＥＧ ＥＳをＶＴＲによってそのままテープに記録した場合、エラーに対する耐性が弱く、スライス中の１箇所でもエラーが発生すると、エラーが画面の右端まで伝播し、次のスライスヘッダが検出されるまで復帰できない。また、断片的なデータしか再生できない変速再生を行うと、可変長符号の前の部分しか復号できないので、再生できる部分が画面の左端に集中し、均一に画面を更新することができない。さらに、高速再生時にテープ上のデータの配置を予測できないために、テープパターンを一定の間隔でトレースしたのでは、均一な画面更新ができなくなる。
【００１１】
さらに、ＭＰＥＧシンタックスでは、最大スライス長（最大マクロブロック長）を制限しておらず、元の画像データのデータ量より多いデータも許容している。その場合には、マクロブロック単位での係数並び替え等の処理に時間がかかり、バッファが必要となり、システムディレイが大きくなる問題が生じる。
【００１２】
マクロブロック単位の係数並び替えと関連して、パッキングについて説明する。ＶＴＲでは、記録、再生時の信号処理を容易とするために、所定長のデータに対して同期信号およびＩＤを付加し、シンクブロックが形成される。記録側において、データをシンクブロックのデータ領域に詰め込む処理をパッキングと称し、再生側において、シンクブロックのデータ領域からデータを取り出す処理をデパッキングと称する。また、積符号を使用している時には、パッキングによって積符号のＥＣＣ(Error Correctig Code)ブロックの１行分の長さにデータを詰め込まれる。
【００１３】
また、ＶＴＲの場合、１トラックまたは所定数のトラック当たりに記録できるデータ量が固定されているので、所定期間に発生する可変長符号のデータ量が目標値以下となるように、データ量が制御される。そして、所定期間に対して用意されている複数のシンクブロックのデータ領域に可変長符号化データをパッキングするようになされる。
【００１４】
マクロブロック単位の可変長データをパッキングする場合、データ量が選択される所定期間（編集単位である１フレーム）の全マクロブロック数に等しい数の固定枠（シンクブロックのデータ領域と対応する）を用意し、各固定枠に対して１個の可変長データを詰め込むようになされる。全マクロブロックを固定枠にそれぞれ先頭から詰め込んだ後に、固定枠からはみ出したオーバーフロー部分が空いている領域に対して順番に詰められる。その場合、各マクロブロックの可変長データの長さ情報が付加される。そして、再生時には、長さ情報を参照してデパッキングされる。
【００１５】
マクロブロックの可変長データは、４：２：２のビデオデータの場合に、８個のＤＣＴブロック毎にＤＣ係数（直流成分）から開始してジグザグスキャンでより高い周波数のＡＣ係数（交流成分）が出力される。従って、１マクロブロック（１スライス）に対応する可変長データの中に、各ＤＣＴブロックＤＣ係数あるいは低い周波数のＡＣ係数が分散して存在している。これらの成分は、ＤＣＴを復号して画像を復元する上で重要な成分である。ところが、上述したように、ＶＴＲの再生時に発生したエラーによって、可変長データの途中から復号できなくなる場合が生じる。また、ＶＴＲの変速再生時には、断片的にしかデータを再生できないので、デパッキングの処理がなされない。これらのエラーの伝播、変速再生時の処理を考慮すると、ＤＣ係数あるいは低い周波数のＡＣ係数が分散して存在していることは好ましくない。
【００１６】
さらに、ＭＰＥＧにおいて、画像データは、シーケンス、ＧＯＰ、ピクチャ、スライス、マクロブロック、ブロックの６層の階層構造を有しており、各階層の多重化処理がなされる。多重化処理は、ＭＰＥＧにおいてシンタックスとして規定されており、ピクチャデータ以外に、ＰＥＳ(Packetized Elementary Stream)ヘッダ、シーケンスヘッダ、ＧＯＰヘッダ、スライスヘッダ等のヘッダ情報が多重化される。ヘッダ情報は、ピクチャデータの復号等の処理にとって必要なものであり、ＭＰＥＧのＥＳを記録／再生する時には、ピクチャデータと共にヘッダ情報を記録／再生することが必要となる。ヘッダ情報を記録／再生する一つの方法としては、ヘッダ情報の全体またはその中で、再生にとって必要最小限のデータを固定長データとして記録／再生することが考えられる。
【００１７】
しかしながら、ヘッダ情報のデータ量を固定長データとして扱うことが難しい場合がある。一つには、種々の画像データのフォーマットが存在し、ヘッダ情報のデータ量が変動する。例えばアメリカのディジタルテレビジョン放送の画像フォーマットは、１８種類存在している。第２には、ビデオインデックスのデータとか、特定ライン上に多重化されるアンシラリイデータ(ancillary data)（クローズドキャプション、テレテキスト、垂直ブランキング期間のタイムコード（ＶＩＴＣ）等）をビデオＥＳとして伝送するために、ピクチャヘッダ中のユーザデータに挿入する場合には、ユーザデータのデータ量が変動する。
【００１８】
このように、本来の画像データでないにもかかわらず、そのデータ長が可変であるデータ（ヘッダ情報、ビデオインデックス、アンシラリイデータ等であり、これらを総称してピクチャデータ以外という意味で非画像データと称する）を記録するためには、個々の記録すべき画像フォーマットを考慮して記録領域を割り当てる必要があり、また、発生しうるデータ量の最大量を記録可能な記録領域を確保する必要がある。
【００１９】
画像フォーマットが１種類あるいは２種類程度である場合には、データ量の変動幅を比較的小さく、個々の画像フォーマットに対応して非画像データの記録領域をテープ上で設定することは、それほど難しくない。しかしながら、画像フォーマットの種類が多いと、非画像データのデータ量の変動幅が大きくなったり、予測できなくなり、非画像データ用の記録領域を設定することが難しくなる。また、発生しうるデータ量の最大量を記録可能な領域を設定すると、データ量が多くない時には、テープ上で記録に使用されない無駄な領域が生じ、テープの記録容量を有効に利用できない。
【００２０】
上述したように、ＭＰＥＧ ＥＳを記録／再生可能なディジタルＶＴＲを構築する場合には、ＥＳをＶＴＲに適したストリーム（デバイスストリームと称する）に変換する必要がある。その一つは、１スライス＝１マクロブロックのスライス構造に限定することである。また、マクロブロック内の複数のブロックのＤＣ係数、同一次数のＡＣ係数をまとめ、ＤＣ係数から順に並べるように、可変長データを並び替える必要もある。それによって、エラーの影響を少なくでき、また、変速再生時の画質を良好とできる。さらに、比較的多いデータ量で、可変長のデータでありうる非画像データを記録／再生できる必要がある。
【００２１】
従って、この発明の目的は、ＥＳの形態で外部とインターフェースすることが可能で、しかも、ＥＳをＶＴＲ内部の処理に適したデバイスストリームを変換することができる画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法を提供するものである。
【００２２】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、記録媒体に画像データを記録する画像データ記録装置において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数のブロックからなるマクロブロック層と、１以上のマクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取る受信部と、
受信部からのエレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換手段と、
デバイスストリームに対して記録処理を行う記録処理部と、
記録処理部からの記録データを記録媒体に記録する記録部とからなり、
記録側ストリーム変換手段は、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録装置である。
【００２３】
請求項２の発明は、記録媒体に画像データを記録し、記録媒体から画像データを再生する画像データ記録再生装置において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数のブロックからなるマクロブロック層と、１以上のマクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取る受信部と、
受信部からのエレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換手段と、
デバイスストリームに対して記録処理を行う記録処理部と、
記録処理部からの記録データを記録媒体に記録する記録部と、
記録媒体からデータを再生する再生部と、
再生部からの再生データに対して再生処理を行う再生処理部と、
再生処理部からのデバイスストリームをエレメンタリストリームへフォーマット変換する再生側ストリーム変換手段と、
再生側ストリーム変換手段からのエレメンタリストリームを外部へ出力する送信部とからなり、
記録側ストリーム変換手段は、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録再生装置である。
【００２４】
請求項９の発明は、記録媒体に画像データを記録する画像データ記録方法において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数のブロックからなるマクロブロック層と、１以上のマクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取るステップと、
受け取ったエレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換のステップと、
デバイスストリームに対して記録処理を行う記録処理のステップと、
記録処理で発生した記録データを記録媒体に記録するステップとからなり、
記録側ストリーム変換のステップは、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録方法である。
【００２５】
請求項１０の発明は、記録媒体に画像データを記録し、記録媒体から画像データを再生する画像データ記録再生方法において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数のブロックからなるマクロブロック層と、１以上のマクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取るステップと、
受け取ったエレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換のステップと、
デバイスストリームに対して記録処理を行う記録処理のステップと、
記録処理で発生した記録データを記録媒体に記録するステップと、
記録媒体からデータを再生するステップと、
再生データに対して再生処理を行う再生処理のステップと、
再生処理で発生したデバイスストリームをエレメンタリストリームへフォーマット変換する再生側ストリーム変換のステップと、
再生側ストリーム変換のステップで発生したエレメンタリストリームを外部へ出力する送信のステップとからなり、
記録側ストリーム変換のステップは、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録再生方法である。
【００２６】
記録側ストリーム変換によって、ＥＳをＶＴＲに適したデバイスストリームに変換できる。また、再生側ストリーム変換によって、デバイスストリームをＥＳに変換できる。さらに、インターフェースの受信部および送信部を備えるので、ＥＳにより例えば放送局全体をインターフェースすることが可能となる。それによって、ディレイの問題が発生せず、放送局内の編集等の処理がスムーズに行うことが可能となる。さらに、デバイスストリームでの記録／再生によって、ＶＴＲで発生するエラーの影響を低減でき、また、ＶＴＲの変速再生時の画質の向上を図ることができる。さらに、ストリームコンバータにおいて１マクロブロック当たりの可変長データの最大長を制限しているので、その最大長のデータをマクロブロックの時間内に転送できるだけのバンド幅を確保すれば良い。
【００２７】
【発明の実施の形態】
この発明によりディジタルＶＴＲは、放送局の環境で使用して好適なもので、互いに異なる複数のフォーマットのビデオ信号の記録／再生を可能とするものである。例えば、ＮＴＳＣ方式に基づいたインターレス走査で有効ライン数が４８０本の信号（４８０ｉ信号）およびＰＡＬ方式に基づいたインターレス走査で有効ライン数が５７６本の信号（５７６ｉ信号）の両者を殆どハードウエアを変更せずに記録／再生することが可能とされる。さらに、インターレス走査でライン数が１０８０本の信号（１０８０ｉ信号）、プログレッシブ走査（ノンインターレス）でライン数がそれぞれ４８０本、７２０本、１０８０本の信号（４８０ｐ信号、７２０ｐ信号、１０８０ｐ信号）なども記録／再生可能とされている。
【００２８】
また、この発明では、ビデオ信号は、ＭＰＥＧ２方式に基づき圧縮符号化される。周知のように、ＭＰＥＧ２は、動き補償予測符号化と、ＤＣＴによる圧縮符号化とを組み合わせたものである。ＭＰＥＧ２のデータ構造は、階層構造をなしており、下位から、ブロック層、マクロブロック層、スライス層、ピクチャ層、ＧＯＰ層およびシーケンス層となっている。
【００２９】
ブロック層は、ＤＣＴを行う単位であるＤＣＴブロックからなる。マクロブロック層は、複数のＤＣＴブロックで構成される。スライス層は、ヘッダ部と、行間をまたがらない任意個のマクロブロックより構成される。ピクチャ層は、ヘッダ部と、複数のスライスとから構成される。ピクチャは、１画面に対応する。ＧＯＰ層は、ヘッダ部と、フレーム内符号化に基づくピクチャであるＩピクチャと、予測符号化に基づくピクチャであるＰおよびＢピクチャとから構成される。
【００３０】
Ｉピクチャ(Intra-coded picture：イントラ符号化画像) は、符号化されるときその画像１枚の中だけで閉じた情報を使用するものである。従って、復号時には、Ｉピクチャ自身の情報のみで復号できる。Ｐピクチャ(Predictive-coded picture ：順方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャを使用するものである。動き補償された予測画像との差を符号化するか、差分を取らずに符号化するか、効率の良い方をマクロブロック単位で選択する。Ｂピクチャ(Bidirectionally predictive-coded picture ：両方向予測符号化画像）は、予測画像（差分をとる基準となる画像）として、時間的に前の既に復号されたＩピクチャまたはＰピクチャ、時間的に後ろの既に復号されたＩピクチャまたはＰピクチャ、並びにこの両方から作られた補間画像の３種類を使用する。この３種類のそれぞれの動き補償後の差分の符号化と、イントラ符号化の中で、最も効率の良いものをマクロブロック単位で選択する。
【００３１】
従って、マクロブロックタイプとしては、フレーム内符号化(Intra) マクロブロックと、過去から未来を予測する順方向(Foward)フレーム間予測マクロブロックと、未来から過去を予測する逆方向(Backward)フレーム間予測マクロブロックと、前後両方向から予測する両方向マクロブロックとがある。Ｉピクチャ内の全てのマクロブロックは、フレーム内符号化マクロブロックである。また、Ｐピクチャ内には、フレーム内符号化マクロブロックと順方向フレーム間予測マクロブロックとが含まれる。Ｂピクチャ内には、上述した４種類の全てのタイプのマクロブロックが含まれる。
【００３２】
ＭＰＥＧシンタックスでは、ＧＯＰには、最低１枚のＩピクチャが含まれ、ＰおよびＢピクチャは、存在しなくても許容される。最上層のシーケンス層は、ヘッダ部と複数のＧＯＰとから構成される。
【００３３】
ＭＰＥＧのフォーマットにおいては、スライスが１つの可変長符号系列である。可変長符号系列とは、可変長符号を復号化しなければデータの境界を検出できない系列である。
【００３４】
また、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層およびマクロブロック層の先頭には、それぞれ、バイト単位に整列された所定のビットパターンを有する識別コード（スタートコードと称される）が配される。なお、上述した各層のヘッダ部は、ヘッダ、拡張データまたはユーザデータをまとめて記述したものである。シーケンス層のヘッダには、画像（ピクチャ）のサイズ（縦横の画素数）等が記述される。ＧＯＰ層のヘッダには、タイムコードおよびＧＯＰを構成するピクチャ数等が記述される。
【００３５】
スライス層に含まれるマクロブロックは、複数のＤＣＴブロックの集合であり、ＤＣＴブロックの符号化系列は、量子化されたＤＣＴ係数の系列を０係数の連続回数（ラン）とその直後の非０系列（レベル）を１つの単位として可変長符号化したものである。マクロブロックならびにマクロブロック内のＤＣＴブロックには、バイト単位に整列した識別コードが付加されない。
【００３６】
マクロブロックは、画面（ピクチャ）を１６画素×１６ラインの格子状に分割したものである。スライスは、例えばこのマクロブロックを水平方向に連結してなる。連続するスライスの前のスライスの最後のマクロブロックと、次のスライスの先頭のマクロブロックとは連続しており、スライス間でのマクロブロックのオーバーラップを形成することは、許されていない。また、画面のサイズが決まると、１画面当たりのマクロブロック数は、一意に決まる。
【００３７】
一方、復号および符号化による信号の劣化を避けるためには、符号化データ上で編集することが望ましい。このとき、ＰピクチャおよびＢピクチャは、その復号に、時間的に前のピクチャあるいは前後のピクチャを必要とする。そのため、編集単位を１フレーム単位とすることができない。この点を考慮して、この一実施形態では、１つのＧＯＰが１枚のＩピクチャからなるようにしている。
【００３８】
また、例えば１フレーム分の記録データが記録される記録領域が所定のものとされる。ＭＰＥＧ２では、可変長符号化を用いているので、１フレーム期間に発生するデータを所定の記録領域に記録できるように、１フレーム分の発生データ量が制御される。
【００３９】
さらに、この一実施形態では、磁気テープへの記録に適するように、１スライスを１マクロブロックから構成すると共に、１マクロブロックを、所定長の固定枠に当てはめる。ＭＰＥＧでは、１スライスを１ストライプ（１６ライン）で構成するのが普通であり、画面の左端から可変長符号化が始まり、右端で終わる。この一実施形態では、エラーに対する耐性を高め、変速再生時の画面の更新率を高めるために、１スライスを１マクロブロックで構成する。
【００４０】
一実施形態の詳細な説明に先立って、この発明の概略的構成について図１を参照して説明する。但し、オーディオデータについては、省略している。図１において、１がＳＤＴＩ受信部である。ＭＰＥＧ ＥＳを伝送するために、ＳＤＴＩ−ＣＰ(Content Package) が使用される。また、２がＭＰＥＧのビデオエンコーダである。ＳＤＴＩ受信部１またはビデオエンコーダ２からのＥＳがフォーマットコンバータ３に供給される。このＥＳは、４：２：２のコンポーネントであり、また、全てＩピクチャのストリームであり、１ＧＯＰ＝１ピクチャの関係を有する。
【００４１】
フォーマットコンバータ３において、ＥＳがディジタルＶＴＲの記録に適したデバイスストリーム（ＮＸストリームと称する）に変換される。フォーマットコンバータ３では、１スライス＝１マクロブロックの関係にないＥＳについては、この関係を満たすような変換を行い、また、ヘッダ等の非画像データを１スライス（スライス０と称する）にまとめると共に、画像データのスライス（スライスＸと称する）およびスライス０のそれぞれの１スライスの最大長を制限し、さらに、ＤＣＴの係数データの順序の並び替えを行う。スライス０にまとめられた非画像データ中のシーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダは、ピクチャ毎に付加される。そして、フォーマットコンバータ３からは、固定のビットレート（２７Ｍ bps、５０Ｍ bps等）のＮＸストリーム（例えば８ビット幅）が出力される。
【００４２】
ＮＸストリームがＥＣＣエンコーダ４に供給される。ＥＣＣエンコーダ４は、主として、スライス０およびスライスＸを１フレーム単位でパッキングする処理と、エラー訂正符号の符号化処理と、データの並び替え（シャフリング）の処理を行う。ＥＣＣエンコーダ４は、これらの処理のために、大容量で高速アクセス可能なメモリを備えている。
【００４３】
ＥＣＣエンコーダ４の出力が記録部５に供給される。記録部５は、シンクおよびＩＤの付加、スクランブル処理、記録符号化（例えばパーシャル・レスポンスのプリコーディング）等の処理を行い、そこに含まれる回転ヘッドに対して、記録アンプを介して処理後のデータを供給する。回転ヘッドが記録媒体（例えば磁気テープ）６に対して記録データを記録する。
【００４４】
再生部１１に含まれる回転ヘッドによって記録媒体６からデータが再生され、増幅、記録符号化の復号、デスクランブル処理、シンクおよびＩＤの抽出等の処理が再生部１１においてなされる。再生部１１からの再生データがＥＣＣデコーダ１２に供給される。ＥＣＣデコーダ１２は、ＥＣＣエンコーダ４でなされた処理と逆の処理、すなわち、デシャフリング、エラー訂正、デパッキングを行い、さらに、訂正できないエラーを修整するエラーコンシールを行う。
【００４５】
ＥＣＣデコーダ１２から出力されるＮＸストリームがフォーマットコンバータ１３に供給される。フォーマットコンバータ１３は、ＮＸストリームをＭＰＥＧＥＳへ変換する。記録側のフォーマットコンバータ３が行った処理の結果、１ＧＯＰ＝１ピクチャでＩピクチャのみからなること、１スライス＝１マクロブロック、最大スライス長が制限されていることは、ＭＰＥＧシンタックスに反するものではない。一方、１ピクチャ毎に付加されているヘッダをシンタックスの規定に合致するように多重化する処理、係数の並び替えを元に戻す処理を再生側フォーマットコンバータ１３が行う。
【００４６】
フォーマットコンバータ１３からのＥＳがＳＤＴＩ送信部１４によって、ＳＤＴＩフォーマットのＥＳに変換され、外部に出力される。また、ＭＰＥＧのビデオデコーダ１５によってＥＳを復号することによって、ベースバンドのビデオデータを外部に出力することができる。さらに、記録側フォーマットコンバータ３の入力と、再生側フォーマットコンバータ１３の出力とが結合されている。なお、図１では省略しているが、ＶＴＲ全体を制御するコントローラ（ＣＰＵ）、タイミング生成器が設けられている。これらのコントローラおよびタイミング生成器は、例えば放送局の上位のコンピュータおよび基準タイミング生成器によって管理されている。
【００４７】
図１に示すディジタルＶＴＲは、記録時に、図２に示す接続関係とされる。図２Ａは、ベースバンドビデオデータを記録する場合の配置を示す。ビデオデータがビデオエンコーダ２によって符号化され、エンコーダ２からのＥＳがフォーマットコンバータ３において、ＮＸストリームに変換され、ＥＣＣエンコーダ４を介して記録される。同時に、ＥＳがＳＤＴＩ送信部１４を介して外部に出力され、また、ビデオデコーダ１５を介して外部に出力される。これらの外部に出力されたデータによって記録されるデータがモニタされる。図２Ｂは、ＳＤＴＩ受信部１を介して供給されるＥＳを記録する時の各ブロックの配置を示す。破線の経路で示すように、ＳＤＴＩ受信部１からのＥＳがビデオエンコーダ２に供給され、例えば１フレームのデータ量の制御等の処理を受ける場合もある。
【００４８】
また、再生時の接続関係を図３に示す。図３Ａは、通常の再生動作の各ブロックの配置を示す。記録媒体６から再生され、再生部１１を介された再生データがＥＣＣデコーダ１２に供給され、ＥＣＣデコーダ１２から出力されるＮＸストリームがフォーマットコンバータ１３に供給され、フォーマットコンバータ１３から再生ＥＳが出力される。再生ＥＳがＳＤＴＩ送信部１４を介してＳＤＴＩ ＥＳとして外部に出力され、また、ＭＰＥＧデコーダ１５で復号され、ベースバンドデータとして外部に出力される。図３Ｂに示す配置は、リードモディファイライト動作を可能とするものである。通常再生時と同様に再生されたＥＳがビデオデコーダ１５からビデオエンコーダ２に供給され、再びＥＳとして記録側フォーマットコンバータ３に供給される。このように、デコーダ１５およびエンコーダ２を通る時のディレイが大きいと、リードモディファイライト動作が不可能となる。しかしながら、この発明では、上述したように、ディレイを少なくしているので、かかる問題が生じない。
【００４９】
さらに、図４は、ダビング動作時の各ブロックの配置を示す。供給されたＳＤＴＩ ＥＳがＳＤＴＩ受信部１（またはビデオエンコーダ２）を通ってフォーマットコンバータ３に供給され、ＮＸストリームに変換される。そして、ＥＣＣエンコーダ４で処理されてから記録媒体６に記録される。記録されたデータが直ちに再生され、ＥＣＣデコーダ１２およびフォーマットコンバータ１３を通ってＥＳとされる。このＥＳがビデオデコーダ１５によってビデオデータとして外部へ出力され、また、ＳＤＴＩ受信部１４によってＳＤＴＩ ＥＳとして外部へ出力される。
【００５０】
ＥＳを伝送するために、上述したように、ＳＤＴＩ−ＣＰが使用される。これは、ＳＭＰＴＥ規格として提案されている。ＳＤＴＩ−ＣＰのフォーマットでは、ＭＰＥＧ ＥＳがアクセスユニットへ分離され、また、フレーム単位のパケットにパッキングされている。ＳＤＴＩ−ＣＰでは、十分な伝送帯域（クロックレートで２７ＭHzまたは３６ＭHz、ストリームビットレートで２７０Ｍ bpsまたは３６０Ｍ bps）を使用しており、１フレーム期間で図５に示すように、バースト的にＥＳを送ることが可能である。図５は、一般的なＭＰＥＧ ＥＳを伝送する場合を示し、各フレーム期間では、影を付した部分にデータが存在している。
【００５１】
図６は、パケットの構成を示すものである。ＥＡＶおよびＳＡＶは、各ラインに配されたタイミング基準信号である。全てのペイロードがＳＡＶから開始してＥＡＶで終わる区間内に配される。ＥＡＶからＳＡＶまでの間にヘッダデータが配され、また、この区間にアンシアリイデータ（ビデオアンシアリイデータ、ビデオインデックス等）およびユーザデータを配することが可能とされている。ヘッダデータには、ラインナンバー、ソースアドレス、ブロックタイプ等が含まれる。ブロックタイプは、ブロック長等を示すデータである。さらに、各ブロックに含まれるデータタイプによって、ストリームの種類（ＥＳ、ＴＳ等）が区別可能とされている。
【００５２】
ＳＡＶの後からＥＡＶまでの間に、システムデータ、ビデオストリーム、オーディオストリーム、ＡＵＸデータが配される。１フレーム期間全体にデータが存在せずに、その先頭から所定期間バースト状にデータが存在する。フレームの境界においてＳＤＴＩ−ＣＰのストリーム（ビデオおよびオーディオ）をストリームの状態でスイッチングすることができる。ＳＤＴＩ−ＣＰは、クロック基準としてＳＭＰＴＥタイムコードを使用したコンテンツの場合に、オーディオ、ビデオ間の同期を確立する機構を有する。さらに、ＳＤＴＩ−ＣＰとＳＤＩとが共存可能なように、フォーマットが決められている。
【００５３】
上述したＳＤＴＩ−ＣＰを使用したインターフェースは、ＴＳを転送する場合のように、エンコーダおよびデコーダがＶＢＶ(Video Buffer Verifier) バッファおよびＴＢｓ(Transport Buffers) を通る必要がなく、ディレイを少なくできる。また、ＳＤＴＩ−ＣＰ自体が極めて高速の転送が可能なこともディレイを一層少なくする。従って、放送局の全体を管理するような同期が存在する環境では、ＳＤＴＩ−ＣＰを使用することが有効である。
【００５４】
以上概説したこの発明の一実施形態について説明する。図７は、この一実施形態による記録再生装置の記録側の構成の一例を示す。記録時には、所定のインターフェース例えばＳＤＩ(Serial Data Interface) の受信部を介してディジタルビデオ信号が端子１０１から入力される。入力ビデオ信号は、ビデオエンコーダ１０２においてＤＣＴの処理を受け、係数データに変換され、係数データが可変長符号化される。ビデオエンコーダ１０２からの可変長符号化（ＶＬＣ）データは、ＭＰＥＧ２に準拠したＥＳである。この出力は、セレクタ１０３の一方の入力端に供給される。
【００５５】
一方、入力端子１０４を通じて、ＳＤＴＩのＥＳが入力される。この信号は、ＳＤＴＩ受信部１０５で同期検出される。そして、バッファに一旦溜め込まれ、ＥＳが抜き出される。抜き出されたＥＳは、セレクタ１０３の他方の入力端に供給される。
【００５６】
セレクタ１０３で選択され出力されたＥＳは、ストリームコンバータ１０６に供給される。ストリームコンバータ１０６では、ＭＰＥＧ２の規定に基づきＤＣＴブロック毎に並べられていたＤＣＴ係数を、１マクロブロックを構成する複数のＤＣＴブロックを通して、周波数成分毎にまとめ、まとめた周波数成分を並べ替える。また、ストリームコンバータ１０６は、図１中の記録側フォーマットコンバータ３に対応するものである。従って、ストリームコンバータ１０６は、ＥＳをディジタルＶＴＲの記録に適したデバイスストリームに変換する。
【００５７】
ストリームコンバータ１０６は、１スライス＝１マクロブロックの関係にないＥＳについては、この関係を満たすような変換を行い、また、ヘッダ等の非画像データを１スライス（スライス０と称する）にまとめると共に、画像データのスライス（スライスＸと称する）およびスライス０のそれぞれの１スライスの最大長を制限し、さらに、ＤＣＴの係数データの順序の並び替えを行う。スライス０にまとめられた非画像データ中のシーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダは、ピクチャ毎に付加される。さらに、１ＧＯＰ（ここでは、１フレーム）当たりのデータ量が目標量を越えるような外部ＥＳが入力される時には、ストリームコンバータ１０６が高次のＡＣ次数をゼロに置き換えることによって、データ量を抑えるようになされる。そして、ストリームコンバータ１０６からは、固定のビットレートのストリーム（例えば８ビット幅）が出力され、これがパッキングおよびシャフリング部１０７に供給される。
【００５８】
ストリームコンバータ１０６における変換を最短の時間で行うためには、係数並び替えは、画素レートのクロックで行い、前後とのデータのやり取りを行うバスの転送速度を十分に確保する必要がある。例えば画素レートが２７ＭHzのクロックレート、データ幅が８ビットの場合には、可変長データの最大長が３倍の２４ビットとなるので、２７ＭHz×２４ビットのバンド幅が必要である。この場合、ストリームコンバータ１０６の入出力を５４ＭHz×１６ビットのパンド幅としても良い。この場合では、１マクロブロック当たりの可変長データの最大長を制限する必要がなくなる。可変長データの最大長が制限されていれば、その最大長のデータをマクロブロック時間内に転送できるだけのバンド幅を確保すれば良い。例えば最大長を５１２バイトに制限する時には、２７ＭHz×８ビットでもって、ストリームコンバータ１０６とパッキングおよびシャフリング部１０７とをインターフェースすれば良い。
【００５９】
ＥＳのビデオデータは、可変長符号化されているため、各マクロブロックのデータの長さが不揃いである。パッキングおよびシャフリング部１０７では、マクロブロックが固定枠に詰め込まれる。このとき、固定枠からはみ出たオーバーフロー部分は、固定枠のサイズに対して空いている領域に順に詰め込まれる。また、画像フォーマット、シャフリングパターンのバージョン等の情報を有するシステムデータが入力端子１０８からパッキングおよびシャフリング部１０７に供給され、ピクチャデータと同様にシステムデータが記録処理を受ける。システムデータは、ビデオＡＵＸとして記録される。また、走査順に発生する１フレームのマクロブロックを並び替え、テープ上のマクロブロックの記録位置を分散させるシャフリングが行われる。シャフリングによって、変速再生時に断片的にデータが再生される時でも、画像の更新率を向上させることができる。
【００６０】
パッキングおよびシャフリング部１０７からのビデオデータおよびシステムデータ（以下、特に必要な場合を除き、システムデータを含む場合も単にビデオデータと言う。）が外符号エンコーダ１０９に供給される。ビデオデータおよびオーディオデータに対するエラー訂正符号としては、積符号が使用される。積符号は、ビデオデータまたはオーディオデータの２次元配列の縦方向に外符号の符号化を行い、その横方向に内符号の符号化を行い、データシンボルを２重に符号化するものである。外符号および内符号としては、リードソロモンコード(Reed-Solomon code) を使用できる。
【００６１】
外符号エンコーダ１０９の出力がシャフリング部１１０に供給され、複数のＥＣＣブロックにわたってシンクブロック単位で順番を入れ替える、シャフリングがなされる。シンクブロック単位のシャフリングによって特定のＥＣＣブロックにエラーが集中することが防止される。シャフリング部１１０でなされるシャフリングをインターリーブと称することもある。シャフリング部１１０の出力が混合部１１１に供給され、オーディオデータと混合される。なお、混合部１１１は、後述のように、メインメモリにより構成される。
【００６２】
１１２で示す入力端子からオーディオデータが供給される。この一実施形態では、非圧縮のディジタルオーディオ信号が扱われる。ディジタルオーディオ信号は、入力側のＳＤＩ受信部（図示しない）またはＳＤＴＩ受信部１０５で分離されたもの、またはオーディオインターフェースを介して入力されたものである。入力ディジタルオーディオ信号が遅延部１１３を介してＡＵＸ付加部１１４に供給される。遅延部１１３は、オーディオ信号とビデオ信号と時間合わせ用のものである。入力端子１１５から供給されるオーディオＡＵＸは、補助的データであり、オーディオデータのサンプリング周波数等のオーディオデータに関連する情報を有するデータである。オーディオＡＵＸは、ＡＵＸ付加部１１４にてオーディオデータに付加され、オーディオデータと同等に扱われる。
【００６３】
ＡＵＸ付加部１１４からのオーディオデータおよびＡＵＸ（以下、特に必要な場合を除き、ＡＵＸを含む場合も単にオーディオデータと言う。）が外符号エンコーダ１１６に供給される。外符号エンコーダ１１６は、オーディオデータに対して外符号の符号化を行う。外符号エンコーダ１１６の出力がシャフリング部１１７に供給され、シャフリング処理を受ける。オーディオシャフリングとして、シンクブロック単位のシャフリングと、チャンネル単位のシャフリングとがなされる。
【００６４】
シャフリング部１１７の出力が混合部１１１に供給され、ビデオデータとオーディオデータが１チャンネルのデータとされる。混合部１１１の出力がＩＤ付加部１１８が供給され、ＩＤ付加部１１８にて、シンクブロック番号を示す情報等を有するＩＤが付加される。ＩＤ付加部１１８の出力が内符号エンコーダ１１９に供給され、内符号の符号化がなされる。さらに、内符号エンコーダ１１９の出力が同期付加部１２０に供給され、シンクブロック毎の同期信号が付加される。同期信号が付加されることによってシンクブロックが連続する記録データが構成される。この記録データが記録アンプ１２１を介して回転ヘッド１２２に供給され、磁気テープ１２３上に記録される。回転ヘッド１２２は、実際には、隣接するトラックを形成するヘッドのアジマスが互いに異なる複数の磁気ヘッドが回転ドラムに取り付けられたものである。
【００６５】
記録データに対して必要に応じてスクランブル処理を行っても良い。また、記録時にディジタル変調を行っても良く、さらに、パーシャル・レスポンスクラス４とビタビ符号を使用しても良い。
【００６６】
図８は、この発明の一実施形態の再生側の構成の一例を示す。磁気テープ１２３から回転ヘッド１２２で再生された再生信号が再生アンプ１３１を介して同期検出部１３２に供給される。再生信号に対して、等化や波形整形などがなされる。また、ディジタル変調の復調、ビタビ復号等が必要に応じてなされる。同期検出部１３２は、シンクブロックの先頭に付加されている同期信号を検出する。同期検出によって、シンクブロックが切り出される。
【００６７】
同期検出ブロック１３２の出力が内符号エンコーダ１３３に供給され、内符号のエラー訂正がなされる。内符号エンコーダ１３３の出力がＩＤ補間部１３４に供給され、内符号によりエラーとされたシンクブロックのＩＤ例えばシンクブロック番号が補間される。ＩＤ補間部１３４の出力が分離部１３５に供給され、ビデオデータとオーディオデータとが分離される。上述したように、ビデオデータは、ＭＰＥＧのイントラ符号化で発生したＤＣＴ係数データおよびシステムデータを意味し、オーディオデータは、ＰＣＭ(Pulse Code Modulation) データおよびＡＵＸを意味する。
【００６８】
分離部１３５からのビデオデータがデシャフリング部１３６において、シャフリングと逆の処理がなされる。デシャフリング部１３６は、記録側のシャフリング部１１０でなされたシンクブロック単位のシャフリングを元に戻す処理を行う。デシャフリング部１３６の出力が外符号デコーダ１３７に供給され、外符号によるエラー訂正がなされる。訂正できないエラーが発生した場合には、エラーの有無を示すエラーフラグがエラー有りを示すものとされる。
【００６９】
外符号デコーダ１３７の出力がデシャフリングおよびデパッキング部１３８に供給される。デシャフリングおよびデパッキング部１３８は、記録側のパッキングおよびシャフリング部１０７でなされたマクロブロック単位のシャフリングを元に戻す処理を行う。また、デシャフリングおよびデパッキング部１３８では、記録時に施されたパッキングを分解する。すなわち、マクロブロック単位にデータの長さを戻して、元の可変長符号（不等長データ）を復元する。さらに、デシャフリングおよびデパッキング部１３８において、システムデータが分離され、出力端子１３９に取り出される。
【００７０】
デシャフリングおよびデパッキング部１３８の出力が補間部１４０に供給され、エラーフラグが立っている（すなわち、エラーのある）データが修整される。すなわち、変換前に、１マクロブロック（＝１スライス）の可変長データの途中にエラーがあるとされた場合には、エラー箇所以降の周波数成分のＤＣＴ係数が復元できない。そこで、例えばエラー箇所のデータをブロック終端符号（ＥＯＢ）に置き替え、それ以降の周波数成分のＤＣＴ係数をゼロとする。同様に、高速再生時にも、シンクブロック長に対応する長さまでのＤＣＴ係数のみを復元し、それ以降の係数は、ゼロデータに置き替えられる。さらに、補間部１４０では、ビデオデータの先頭に付加されているヘッダがエラーの場合に、ヘッダ（シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ、ユーザデータ等）を回復する処理もなされる。
【００７１】
ＤＣＴブロックに跨がって、ＤＣＴ係数がＤＣ成分および低域成分から高域成分へと並べられているため、このように、ある箇所以降からＤＣＴ係数を無視しても、マクロブロックを構成するＤＣＴブロックのそれぞれに対して、満遍なくＤＣならびに低域成分からのＤＣＴ係数を行き渡らせることができる。
【００７２】
補間部１４０の出力（デバイスストリーム）がストリームコンバータ１４１に供給される。ストリームコンバータ１４１では、記録側のストリームコンバータ１０６と逆の処理がなされる。すなわち、ＤＣＴブロックに跨がって周波数成分毎に並べられていたＤＣＴ係数を、ＤＣＴブロック毎に並び替える。これにより、再生信号がＭＰＥＧ２に準拠したＥＳに変換される。
【００７３】
また、ストリームコンバータ１４１の入出力は、記録側と同様に、マクロブロックの最大長に応じて、十分な転送レート（バンド幅）を確保しておく。マクロブロック（スライス）の長さを制限しない場合には、画素レートの３倍のバンド幅を確保するのが好ましい。
【００７４】
ストリームコンバータ１４１の出力がビデオデコーダ１４２に供給される。ビデオデコーダ１４２は、ＥＳを復号し、ビデオデータを出力する。すなわち、ビデオデコーダ１４２は、逆量子化処理と、逆ＤＣＴ処理とがなされる。復号ビデオデータが出力端子１４３に取り出される。外部とのインターフェースには、例えばＳＤＩが使用される。また、ストリームコンバータ１４１からのＥＳがＳＤＴＩ送信部１４４に供給される。ＳＤＴＩ送信部１４４には、経路の図示を省略しているが、システムデータ、再生オーディオデータ、ＡＵＸも供給され、ＳＤＴＩフォーマットのデータ構造を有するストリームへ変換される。ＳＤＴＩ送信部１４４からのストリームが出力端子１４５を通じて外部に出力される。
【００７５】
分離部１３５で分離されたオーディオデータがデシャフリング部１５１に供給される。デシャフリング部１５１は、記録側のシャフリング部１１７でなされたシャフリングと逆の処理を行う。デシャフリング部１１７の出力が外符号デコーダ１５２に供給され、外符号によるエラー訂正がなされる。外符号デコーダ１５２からは、エラー訂正されたオーディオデータが出力される。訂正できないエラーがあるデータに関しては、エラーフラグがセットされる。
【００７６】
外符号デコーダ１５２の出力がＡＵＸ分離部１５３に供給され、オーディオＡＵＸが分離される。分離されたオーディオＡＵＸが出力端子１５４に取り出される。また、オーディオデータが補間部１５５に供給される。補間部１５５では、エラーの有るサンプルが補間される。補間方法としては、時間的に前後の正しいデータの平均値で補間する平均値補間、前の正しいサンプルの値をホールドする前値ホールド等を使用できる。補間部１５５の出力が出力部１５６に供給される。出力部１５６は、エラーであり、補間できないオーディオ信号の出力を禁止するミュート処理、並びにビデオ信号との時間合わせのための遅延量調整処理がなされる。出力部１５６から出力端子１５７に再生オーディオ信号が取り出される。
【００７７】
なお、図７および図８では省略されているが、入力データと同期したタイミング信号を発生するタイミング発生部、記録再生装置の全体の動作を制御するシステムコントローラ（マイクロコンピュータ）等が備えられている。
【００７８】
この一実施形態では、磁気テープへの信号の記録は、回転する回転ヘッド上に設けられた磁気ヘッドにより、斜めのトラックを形成する、ヘリカルスキャン方式によって行われる。磁気ヘッドは、回転ドラム上の、互いに対向する位置に、それぞれ複数個が設けられる。すなわち、磁気テープが回転ヘッドに１８０°程度の巻き付け角で以て巻き付けられている場合、回転ヘッドの１８０°の回転により、同時に複数本のトラックを形成することができる。また、磁気ヘッドは、互いにアジマスの異なる２個で一組とされる。複数個の磁気ヘッドは、隣接するトラックのアジマスが互いに異なるように配置される。
【００７９】
図９は、上述した回転ヘッドにより磁気テープ上に形成されるトラックフォーマットの一例を示す。これは、１フレーム当たりのビデオおよびオーディオデータが８トラックで記録される例である。例えばフレーム周波数が２９．９７Ｈｚ、レートが５０Ｍｂｐｓ、有効ライン数が４８０本で有効水平画素数が７２０画素のインターレス信号（４８０ｉ信号）およびオーディオ信号が記録される。また、フレーム周波数が２５Ｈｚ、レートが５０Ｍｂｐｓ、有効ライン数が５７６本で有効水平画素数が７２０画素のインターレス信号（５７６ｉ信号）およびオーディオ信号も、図９と同一のテープフォーマットによって記録できる。
【００８０】
互いに異なるアジマスの２トラックによって１セグメントが構成される。すなわち、８トラックは、４セグメントからなる。セグメントを構成する１組のトラックに対して、アジマスと対応するトラック番号〔０〕とトラック番号〔１〕が付される。図９に示される例では、前半の８トラックと、後半の８トラックとの間で、トラック番号が入れ替えられると共に、フレーム毎に互いに異なるトラックシーケンスが付される。これにより、アジマスが異なる１組の磁気ヘッドのうち一方が、例えば目詰まりなどにより読み取り不能状態に陥っても、前フレームのデータを利用してエラーの影響を小とできる。
【００８１】
トラックのそれぞれにおいて、両端側にビデオデータが記録されるビデオセクタが配され、ビデオセクタに挟まれて、オーディオデータが記録されるオーディオセクタが配される。なお、この図９および後述する図１０は、テープ上のオーディオセクタの配置を示すものである。
【００８２】
図９のトラックフォーマットでは、８チャンネルのオーディオデータを扱うことができるようにされている。Ａ１〜Ａ８は、それぞれオーディオデータの１〜８ｃｈのセクタを示す。オーディオデータは、セグメント単位で配列を変えられて記録される。オーディオデータは、１フィールド期間で発生するオーディオサンプル（例えばフィールド周波数が２９．９７Hzで、サンプリング周波数が４８ｋHzの場合には、８００サンプルまたは８０１サンプル）が偶数番目のサンプルと奇数番目のサンプルとにわけられ、各サンプル群とＡＵＸによって積符号の１ＥＣＣブロックが構成される。
【００８３】
図９では、１フィールド分のオーディオデータが４トラックに記録されるので、オーディオデータの１チャンネル当たりの２個のＥＣＣブロックが４トラックに記録される。２個のＥＣＣブロックのデータ（外符号パリティを含む）が４個のセクタに分割され、図９に示すように、４トラックに分散されて記録される。２個のＥＣＣブロックに含まれる複数のシンクブロックがシャフリングされる。例えばＡ１の参照番号が付された４セクタによって、チャンネル１の２ＥＣＣブロックが構成される。
【００８４】
また、ビデオデータは、この例では、１トラックに対して４ＥＣＣブロック分のデータがシャフリング（インターリーブ）され、Ｕｐｐｅｒ ＳｉｄｅおよびＬｏｗｅｒ Ｓｉｄｅで各セクタに分割され記録される。Ｌｏｗｅｒ Ｓｉｄｅのビデオセクタには、所定位置にシステム領域が設けられる。
【００８５】
なお、図９において、ＳＡＴ１（Ｔｒ）およびＳＡＴ２（Ｔｍ）は、サーボロック用の信号が記録されるエリアである。また、各記録エリアの間には、所定の大きさのギャップ（Ｖｇ１，Ｓｇ１，Ａｇ，Ｓｇ２，Ｓｇ３およびＶｇ２）が設けられる。
【００８６】
図９は、１フレーム当たりのデータを８トラックで記録する例であるが、記録再生するデータのフォーマットによっては、１フレーム当たりのデータを４トラック、６トラックなどでの記録することができる。図１０Ａは、１フレームが６トラックのフォーマットである。この例では、トラックシーケンスが〔０〕のみとされる。
【００８７】
図１０Ｂに示すように、テープ上に記録されるデータは、シンクブロックと称される等間隔に区切られた複数のブロックからなる。図１０Ｃは、シンクブロックの構成を概略的に示す。詳細は後述するが、シンクブロックは、同期検出するためのＳＹＮＣパターン、シンクブロックのそれぞれを識別するためのＩＤ、後続するデータの内容を示すＤＩＤ、データパケットおよびエラー訂正用の内符号パリティから構成される。データは、シンクブロック単位でパケットとして扱われる。すなわち、記録あるいは再生されるデータ単位の最小のものが１シンクブロックである。シンクブロックが多数並べられて（図１０Ｂ）、例えばビデオセクタが形成される（図１０Ａ）。
【００８８】
図１１は、記録／再生の最小単位である、ビデオデータのシンクブロックのデータ構成をより具体的に示す。この一実施形態においては、記録するビデオデータのフォーマットに適応して１シンクブロックに対して１個乃至は２個のマクロブロックのデータ（ＶＬＣデータ）が格納されると共に、１シンクブロックのサイズが扱うビデオ信号のフォーマットに応じて長さが変更される。図１１Ａに示されるように、１シンクブロックは、先頭から、２バイトのＳＹＮＣパターン、２バイトのＩＤ、１バイトのＤＩＤ、例えば１１２バイト〜２０６バイトの間で可変に規定されるデータ領域および１２バイトのパリティ（内符号パリティ）からなる。なお、データ領域は、ペイロードとも称される。
【００８９】
先頭の２バイトのＳＹＮＣパターンは、同期検出用であり、所定のビットパターンを有する。固有のパターンに対して一致するＳＹＮＣパターンを検出することで、同期検出が行われる。
【００９０】
図１２Ａは、ＩＤ０およびＩＤ１のビットアサインの一例を示す。ＩＤは、シンクブロックが固有に持っている重要な情報を持っており、各２バイト（ＩＤ０およびＩＤ１）が割り当てられている。ＩＤ０は、１トラック中のシンクブロックのそれぞれを識別するための識別情報（ＳＹＮＣ ＩＤ）が格納される。ＳＹＮＣ ＩＤは、例えば各セクタ内のシンクブロックに対して付された通し番号である。ＳＹＮＣ ＩＤは、８ビットで表現される。ビデオのシンクブロックとオーディオのシンクブロックとでそれぞれ別個にＳＹＮＣ ＩＤが付される。
【００９１】
ＩＤ１は、シンクブロックのトラックに関する情報が格納される。ＭＳＢ側をビット７、ＬＳＢ側をビット０とした場合、このシンクブロックに関して、ビット７でトラックの上側（Ｕｐｐｅｒ）か下側（Ｌｏｗｅｒ）かが示され、ビット５〜ビット２で、トラックのセグメントが示される。また、ビット１は、トラックのアジマスに対応するトラック番号が示され、ビット０は、このシンクブロックがビデオデータおよびオーディオデータを区別するビットである。
【００９２】
図１２Ｂは、ビデオの場合のＤＩＤのビットアサインの一例を示す。ＤＩＤは、ペイロードに関する情報が格納される。上述したＩＤ１のビット０の値に基づき、ビデオおよびオーディオで、ＤＩＤの内容が異なる。ビット７〜ビット４は、未定義（Ｒｅｓｅｒｖｅｄ）とされている。ビット３および２は、ペイロードのモードであり、例えばペイロードのタイプが示される。ビット３および２は、補助的なものである。ビット１でペイロードに１個あるいは２個のマクロブロックが格納されることが示される。ビット０でペイロードに格納されるビデオデータが外符号パリティであるかどうかが示される。
【００９３】
図１２Ｃは、オーディオの場合のＤＩＤのビットアサインの一例を示す。ビット７〜ビット４は、Ｒｅｓｅｒｖｅｄとされている。ビット３でペイロードに格納されているデータがオーディオデータであるか、一般的なデータであるかどうかが示される。ペイロードに対して、圧縮符号化されたオーディオデータが格納されている場合には、ビット３がデータを示す値とされる。ビット２〜ビット０は、ＮＴＳＣ方式における、５フィールドシーケンスの情報が格納される。すなわち、ＮＴＳＣ方式においては、ビデオ信号の１フィールドに対してオーディオ信号は、サンプリング周波数が４８ｋＨｚの場合、８００サンプルおよび８０１サンプルの何れかであり、このシーケンスが５フィールド毎に揃う。ビット２〜ビット０によって、シーケンスの何処に位置するかが示される。
【００９４】
図１１に戻って説明すると、図１１Ｂ〜図１１Ｅは、上述のペイロードの例を示す。図１１Ｂおよび図１１Ｃは、ペイロードに対して、１および２マクロブロックのビデオデータ（不等長データ）が格納される場合の例をそれぞれ示す。図１１Ｂに示される、１マクロブロックが格納される例では、先頭の３バイトに、そのマクロブロックに対応する不等長データの長さを示すデータ長標識ＬＴが配される。なお、データ長標識ＬＴには、自分自身の長さを含んでも良いし、含まなくても良い。また、図１１Ｃに示される、２マクロブロックが格納される例では、先頭に第１のマクロブロックのデータ長標識ＬＴが配され、続けて第１のマクロブロックが配される。そして、第１のマクロブロックに続けて第２のマクロブロックの長さを示すデータ長標識ＬＴが配され、続けて第２のマクロブロックが配される。データ長標識ＬＴは、デパッキングのために必要な情報である。
【００９５】
図１１Ｄは、ペイロードに対して、ビデオＡＵＸ（補助的）データが格納される場合の例を示す。先頭のデータ長標識ＬＴには、ビデオＡＵＸデータの長さが記される。このデータ長標識ＬＴに続けて、５バイトのシステム情報、１２バイトのＰＩＣＴ情報、および９２バイトのユーザ情報が格納される。ペイロードの長さに対して余った部分は、Ｒｅｓｅｒｖｅｄとされる。
【００９６】
図１１Ｅは、ペイロードに対してオーディオデータが格納される場合の例を示す。オーディオデータは、ペイロードの全長にわたって詰め込むことができる。オーディオ信号は、圧縮処理などが施されない、例えばＰＣＭ形式で扱われる。これに限らず、所定の方式で圧縮符号化されたオーディオデータを扱うようにもできる。
【００９７】
この一実施形態においては、各シンクブロックのデータの格納領域であるペイロードの長さは、ビデオシンクブロックとオーディオシンクブロックとでそれぞれ最適に設定されているため、互いに等しい長さではない。また、ビデオデータを記録するシンクブロックの長さと、オーディオデータを記録するシンクブロックの長さとを、信号フォーマットに応じてそれぞれ最適な長さに設定される。これにより、複数の異なる信号フォーマットを統一的に扱うことができる。
【００９８】
図１３は、ビデオエンコーダ１０２の構成の一例を示す。端子５０から供給された信号は、ブロック化回路５１で、例えば１６画素×１６ラインのマクロブロックに分割される。このマクロブロックは、減算器５４の一方の入力端に供給されると共に、動き検出回路６０に供給される。さらに、入力された画像データは、統計処理回路５２にも供給される。統計処理回路５２では、所定の統計処理により入力画像データの複雑さが算出される。算出結果は、ビットレート制御回路５３に供給される。
【００９９】
動き検出回路６０では、ブロック化回路５１から供給されたマクロブロックと、後述する逆量子化回路６３および逆ＤＣＴ回路６２とを介して供給される、１フレーム（あるいは１フィールド）前のマクロブロックとを比較して、例えばブロックマッチングにより動き情報（動きベクトル）を得る。動き補償回路６１では、この動き情報に基づく動き補償が行われ、動き補償された結果が減算器５４の他方の入力端に供給される。
【０１００】
減算器５４で入力画像データと動き補償結果との差分が求められ、ＤＣＴ回路５５に供給される。ＤＣＴ回路５５では、この差分のマクロブロックをさらに８画素×８ラインからなるＤＣＴブロックに分割し、それぞれのＤＣＴブロックについて、ＤＣＴを行う。ＤＣＴ回路５５から出力されたＤＣＴ係数は、量子化回路５６で量子化される。量子化の際に、ビットレート制御回路５３からの制御情報に基づき、ビットレートが制御される。量子化されたＤＣＴ係数は、逆量子化回路６３およびジグザグスキャン回路５７に供給される。
【０１０１】
ジグザグスキャン回路５７では、ＤＣＴ係数がジグザグスキャンで出力され、ＤＣＴブロックそれぞれについて、ＤＣ成分および低域成分から高域成分に順に並べられる。このＤＣＴ係数は、ＶＬＣ回路５８で可変長符号化され、ＭＰＥＧ２に準拠したＥＳとして、出力端５９に導出される。出力されるＥＳは、マクロブロック単位の可変長符号化データであり、１スライス＝１マクロブロックとされている。
【０１０２】
この一実施形態では、ＩピクチャのみでＧＯＰを構成しているので、動き検出回路６０、動き補償回路６１、ローカルデコーダ等のフレーム間動き補償予測のための構成部分を省略しても良い。
【０１０３】
図１４Ａは、ＭＰＥＧエンコーダのＤＣＴ回路から出力されるビデオデータ中のＤＣＴ係数の順序を示す。ＤＣＴブロックにおいて左上のＤＣ成分から開始して、水平ならびに垂直空間周波数が高くなる方向に、ＤＣＴ係数がジグザグスキャンで出力される。その結果、図１４Ｂに一例が示されるように、全部で６４個（８画素×８ライン）のＤＣＴ係数が周波数成分順に並べられて得られる。
【０１０４】
このＤＣＴ係数がＭＰＥＧエンコーダのＶＬＣ部によって可変長符号化される。すなわち、最初の係数は、ＤＣ成分として固定的であり、次の成分（ＡＣ成分）からは、ゼロのランとそれに続くレベルに対応してコードが割り当てられる。従って、ＡＣ成分の係数データに対する可変長符号化出力は、周波数成分の低い（低次の）係数から高い（高次の）係数へと、ＡＣ1 ，ＡＣ2 ，ＡＣ3 ，・・・と並べられたものである。可変長符号化されたＤＣＴ係数をＥＳが含んでいる。可変長符号化は、１スライス単位でなされる。一実施形態の場合では、１マクロブロック単位で可変長符号化がなされている。
【０１０５】
ストリームコンバータ１０６では、供給された信号のＤＣＴ係数の並べ替えが行われる。すなわち、それぞれのマクロブロック内で、ジグザグスキャンによってＤＣＴブロック毎に周波数成分順に並べられたＤＣＴ係数がマクロブロックを構成する各ＤＣＴブロックにわたって周波数成分順に並べ替えられる。
【０１０６】
図１５は、このストリームコンバータ１０６におけるＤＣＴ係数の並べ替えを概略的に示す。（４：２：２）コンポーネント信号の場合に、１マクロブロックは、輝度信号Ｙによる４個のＤＣＴブロック（Ｙ1 ，Ｙ2 ，Ｙ3 およびＹ4 ）と、色度信号Ｃｂ，Ｃｒのそれぞれによる２個ずつのＤＣＴブロック（Ｃｂ1 ，Ｃｂ2 ，Ｃｒ1 およびＣｒ2 ）からなる。
【０１０７】
上述したように、ビデオエンコーダ１０２では、ＭＰＥＧ２の規定に従いジグザグスキャンが行われ、図１５Ａに示されるように、各ＤＣＴブロック毎に、ＤＣＴ係数がＤＣ成分および低域成分から高域成分に、周波数成分の順に並べられる。一つのＤＣＴブロックのスキャンが終了したら、次のＤＣＴブロックのスキャンが行われ、同様に、ＤＣＴ係数が並べられる。
【０１０８】
すなわち、マクロブロック内で、ＤＣＴブロックＹ1 ，Ｙ2 ，Ｙ3 およびＹ4 、ＤＣＴブロックＣｂ1 ，Ｃｂ2 ，Ｃｒ1 およびＣｒ2 のそれぞれについて、ＤＣＴ係数がＤＣ成分および低域成分から高域成分へと周波数順に並べられる。そして、連続したランとそれに続くレベルとからなる組に、〔ＤＣ，ＡＣ1 ，ＡＣ2 ，ＡＣ3 ，・・・〕と、それぞれ符号が割り当てられるように、可変長符号化されている。
【０１０９】
ストリームコンバータ１０６では、可変長符号化され並べられたＤＣＴ係数を、一旦可変長符号を解読して各係数の区切りを検出し、マクロブロックを構成する各ＤＣＴブロックに跨がって周波数成分毎にまとめる。この様子を、図１５Ｂに示す。最初にマクロブロック内の８個のＤＣＴブロックのＤＣ成分をまとめ、次に８個のＤＣＴブロックの最も周波数成分が低いＡＣ係数成分をまとめ、以下、順に同一次数のＡＣ係数をまとめるように、８個のＤＣＴブロックに跨がって係数データを並び替える。
【０１１０】
並び替えられた係数データは、ＤＣ（Ｙ1 ），ＤＣ（Ｙ2 ），ＤＣ（Ｙ3 ），ＤＣ（Ｙ4 ），ＤＣ（Ｃｂ1 ），ＤＣ（Ｃｂ2 ），ＤＣ（Ｃｒ1 ），ＤＣ（Ｃｒ2 ），ＡＣ1 （Ｙ1 ），ＡＣ1 （Ｙ2 ），ＡＣ1 （Ｙ3 ），ＡＣ1 （Ｙ4 ），ＡＣ1 （Ｃｂ1 ），ＡＣ1 （Ｃｂ2 ），ＡＣ1 （Ｃｒ1 ），ＡＣ1 （Ｃｒ2 ），・・・である。ここで、ＤＣ、ＡＣ1 、ＡＣ2 、・・・は、図１４を参照して説明したように、ランとそれに続くレベルとからなる組に対して割り当てられた可変長符号の各符号である。このように係数を並び替えることによって、１マクロブロックの可変長データの中で、画像復元のために重要なＤＣ成分および低次のＡＣ成分がシンクブロックの前の方に配置され、エラー耐性を高め、また、変速再生時の画像更新率を高めることができる。
【０１１１】
ストリームコンバータ１０６で係数データの順序が並べ替えられた変換ＥＳは、パッキングおよびシャフリング部１０７に供給される。マクロブロックのデータの長さは、変換ＥＳと変換前のＥＳとで同一である。また、ビデオエンコーダ１０２において、ビットレート制御によりＧＯＰ（１フレーム）単位に固定長化されていても、マクロブロック単位では、長さが変動している。パッキングおよびシャフリング部１０７では、マクロブロックのデータを固定枠に当てはめる。
【０１１２】
図１６は、パッキングおよびシャフリング部１０７でのマクロブロックのパッキング処理を概略的に示す。マクロブロックは、所定のデータ長を持つ固定枠に当てはめられ、パッキングされる。このとき用いられる固定枠のデータ長を、記録および再生の際のデータの最小単位であるシンクブロックのデータ長と一致させている。これは、シャフリングおよびエラー訂正符号化の処理を簡単に行うためである。図１６では、簡単のため、１フレームに８マクロブロックが含まれるものと仮定する。
【０１１３】
可変長符号化によって、図１６Ａに一例が示されるように、８マクロブロックの長さは、互いに異なる。この例では、固定枠である１シンクブロックのデータ領域の長さと比較して、マクロブロック＃１のデータ，＃３のデータおよび＃６のデータがそれぞれ長く、マクロブロック＃２のデータ，＃５のデータ，＃７のデータおよび＃８のデータがそれぞれ短い。また、マクロブロック＃４のデータは、１シンクブロックと略等しい長さである。
【０１１４】
パッキング処理によって、マクロブロックが１シンクブロック長の固定長枠に詰め込まれる。過不足無くデータを詰め込むことができるのは、１フレーム期間で発生するデータ量が固定量に制御されているからである。図１６Ｂに一例が示されるように、１シンクブロックと比較して長いマクロブロックは、シンクブロック長に対応する位置で分割される。分割されたマクロブロックのうち、シンクブロック長からはみ出た部分（オーバーフロー部分）は、先頭から順に空いている領域に、すなわち、長さがシンクブロック長に満たないマクロブロックの後ろに、詰め込まれる。
【０１１５】
図１６Ｂの例では、マクロブロック＃１の、シンクブロック長からはみ出た部分が、先ず、マクロブロック＃２の後ろに詰め込まれ、そこがシンクブロックの長さに達すると、マクロブロック＃５の後ろに詰め込まれる。次に、マクロブロック＃３の、シンクブロック長からはみ出た部分がマクロブロック＃７の後ろに詰め込まれる。さらに、マクロブロック＃６のシンクブロック長からはみ出た部分がマクロブロック＃７の後ろに詰め込まれ、さらにはみ出た部分がマクロブロック＃８の後ろに詰め込まれる。こうして、各マクロブロックがシンクブロック長の固定枠に対してパッキングされる。
【０１１６】
各マクロブロックに対応する不等長データの長さは、ストリームコンバータ１０６において予め調べておくことができる。これにより、このパッキング部１０７では、ＶＬＣデータをデコードして内容を検査すること無く、マクロブロックのデータの最後尾を知ることができる。
【０１１７】
図１７は、一実施形態で使用されるエラー訂正符号の一例を示し、図１７Ａは、ビデオデータに対するエラー訂正符号の１ＥＣＣブロックを示し、図１７Ｂは、オーディオデータに対するエラー訂正符号の１ＥＣＣブロックを示す。図１７Ａにおいて、ＶＬＣデータがパッキングおよびシャフリング部１０７からのデータである。ＶＬＣデータの各行に対して、ＳＹＮＣパターン、ＩＤ、ＤＩＤが付加され、さらに、内符号のパリティが付加されることによって、１ＳＹＮＣブロックが形成される。
【０１１８】
すなわち、ＶＬＣデータの配列の垂直方向に整列する所定数のシンボル（バイト）から１０バイトの外符号のパリティが生成され、その水平方向に整列する、ＩＤ、ＤＩＤおよびＶＬＣデータ（または外符号のパリティ）の所定数のシンボル（バイト）から内符号のパリティが生成される。図１７Ａの例では、１０個の外符号パリティのシンボルと、１２個の内符号のパリティのシンボルとが付加される。具体的なエラー訂正符号としては、リードソロモン符号が使用される。また、図１７Ａにおいて、１ＳＹＮＣブロック内のＶＬＣデータの長さが異なるのは、５９．９４Hz、２５Hz、２３．９７６Hzのように、ビデオデータのフレーム周波数が異なるのと対応するためである。
【０１１９】
図１７Ｂに示すように、オーディオデータに対する積符号もビデオデータに対するものと同様に、１０シンボルの外符号のパリティおよび１２シンボルの内符号のパリティを生成するものである。オーディオデータの場合は、サンプリング周波数が例えば４８ｋHzとされ、１サンプルが２４ビットに量子化される。１サンプルを他のビット数例えば１６ビットに変換しても良い。上述したフレーム周波数の相違に応じて、１ＳＹＮＣブロック内のオーディオデータの量が相違している。前述したように、１フィールド分のオーディオデータ／１チャンネルによって２ＥＣＣブロックが構成される。１ＥＣＣブロックには、偶数番目および奇数番目の一方のオーディオサンプルとオーディオＡＵＸとがデータとして含まれる。
【０１２０】
図１８は、この発明の一実施形態の記録側構成のより具体的な構成を示す。図１８において、１６４がＩＣに対して外付けのメインメモリ１６０のインターフェースである。メインメモリ１６０は、ＳＤＲＡＭで構成されている。インターフェース１６４によって、内部からのメインメモリ１６０に対する要求を調停し、メインメモリ１６０に対して書込み／読出しの処理を行う。また、パッキング部１０７ａ、ビデオシャフリング部１０７ｂ、パッキング部１０７ｃによって、パッキングおよびシャフリング部１０７が構成される。
【０１２１】
図１９は、メインメモリ１６０のアドレス構成の一例を示す。メインメモリ１６０は、例えば６４ＭビットのＳＤＲＡＭで構成される。メインメモリ１６０は、ビデオ領域２５０、オーバーフロー領域２５１およびオーディオ領域２５２を有する。ビデオ領域２５０は、４つのバンク（ｖｂａｎｋ＃０、ｖｂａｎｋ＃１、ｖｂａｎｋ＃２およびｖｂａｎｋ＃３）からなる。４バンクのそれぞれは、１等長化単位のディジタルビデオ信号が格納できる。１等長化単位は、発生するデータ量を略目標値に制御する単位であり、例えばビデオ信号の１ピクチャ（Ｉピクチャ）である。図１９中の、部分Ａは、ビデオ信号の１シンクブロックのデータ部分を示す。１シンクブロックには、フォーマットによって異なるバイト数のデータが挿入される（図１１Ａ参照）。複数のフォーマットに対応するために、最大のバイト数以上であって、処理に都合の良いバイト数例えば２５６バイトが１シンクブロックのデータサイズとされている。
【０１２２】
ビデオ領域の各バンクは、さらに、パッキング用領域２５０Ａと内符号化エンコーダへの出力用領域２５０Ｂとに分けられる。オーバーフロー領域２５１は、上述のビデオ領域に対応して、４つのバンクからなる。さらに、オーディオデータ処理用の領域２５２をメインメモリ１６０が有する。
【０１２３】
この一実施形態では、各マクロブロックのデータ長標識ＬＴを参照することによって、パッキング部１０７ａが固定枠長データと、固定枠を越える部分であるオーバーフローデータとをメインメモリ１６０の別々の領域に分けて記憶する。固定枠長データは、シンクブロックのデータ領域の長さ以下のデータであり、以下、ブロック長データと称する。ブロック長データを記憶する領域は、各バンクのパッキング処理用領域２５０Ａである。ブロック長より短いデータ長の場合には、メインメモリ１６０の対応する領域に空き領域を生じる。ビデオシャフリング部１０７ｂが書込みアドレスを制御することによってシャフリングを行う。ここで、ビデオシャフリング部１０７ｂは、ブロック長データのみをシャフリングし、オーバーフロー部分は、シャフリングせずに、オーバーフローデータに割り当てられた領域に書込まれる。
【０１２４】
次に、パッキング部１０７ｃが外符号エンコーダ１０９へのメモリにオーバーフロー部分をパッキングして読み込む処理を行う。すなわち、メインメモリ１６０から外符号エンコーダ１０９に用意されている１ＥＣＣブロック分のメモリに対してブロック長のデータを読み込み、若し、ブロック長のデータに空き領域が有れば、そこにオーバーフロー部分を読み込んでブロック長にデータが詰まるようにする。そして、１ＥＣＣブロック分のデータを読み込むと、読み込み処理を一時中断し、外符号エンコーダ１０９によって外符号のパリティを生成する。外符号パリティは、外符号エンコーダ１０９のメモリに格納する。外符号エンコーダ１０９の処理が１ＥＣＣブロック分終了すると、外符号エンコーダ１０９からデータおよび外符号パリティを内符号を行う順序に並び替えて、メインメモリ１６０のパッキング処理用領域２５０Ａと別の出力用領域２５０Ｂに書き戻す。ビデオシャフリング部１１０は、この外符号の符号化が終了したデータをメインメモリ１６０へ書き戻す時のアドレスを制御することによって、シンクブロック単位のシャフリングを行う。
【０１２５】
このようにブロック長データとオーバーフローデータとを分けてメインメモリ１６０の第１の領域２５０Ａへのデータの書込み（第１のパッキング処理）、外符号エンコーダ１０９へのメモリにオーバーフローデータをパッキングして読み込む処理（第２のパッキング処理）、外符号パリティの生成、データおよび外符号パリティをメインメモリ１６０の第２の領域２５０Ｂに書き戻す処理が１ＥＣＣブロック単位でなされる。外符号エンコーダ１０９がＥＣＣブロックのサイズのメモリを備えることによって、メインメモリ１６０へのアクセスの頻度を少なくすることができる。
【０１２６】
そして、１ピクチャに含まれる所定数のＥＣＣブロック（例えば３２個のＥＣＣブロック）の処理が終了すると、１ピクチャのパッキング、外符号の符号化が終了する。そして、インターフェース１６４を介してメインメモリ１６０の領域２５０Ｂから読出したデータがＩＤ付加部１１８、内符号エンコーダ１１９、同期付加部１２０で処理され、並列直列変換部１２４によって、同期付加部１２０の出力データがビットシリアルデータに変換される。出力されるシリアルデータがパーシャル・レスポンスクラス４のプリコーダ１２５により処理される。この出力が必要に応じてディジタル変調され、記録アンプ１２１を介して回転ヘッドに供給される。
【０１２７】
なお、ＥＣＣブロック内にヌルシンクと称する有効なデータが配されないシンクブロックを導入し、記録ビデオ信号のフォーマットの違いに対してＥＣＣブロックの構成の柔軟性を持たせるようにしても良い。ヌルシンクは、パッキングおよびシャフリングブロック１０７のパッキング部１０７ａにおいて生成され、メインメモリ１６０に書込まれる。従って、ヌルシンクがデータ記録領域を持つことになるので、これをオーバーフロー部分の記録用シンクとして使用することができる。
【０１２８】
オーディオデータの場合では、１フィールドのオーディオデータの偶数番目のサンプルと奇数番目のサンプルとがそれぞれ別のＥＣＣブロックを構成する。ＥＣＣの外符号の系列は、入力順序のオーディオサンプルで構成されるので、外符号系列のオーディオサンプルが入力される毎に外符号エンコーダ１１６が外符号パリティを生成する。外符号エンコーダ１１６の出力をメインメモリ１６０の領域２５２に書込む時のアドレス制御によって、シャフリング部１１７がシャフリング（チャンネル単位およびシンクブロック単位）を行う。
【０１２９】
さらに、１２６で示すＣＰＵインターフェースが設けられ、システムコントローラとして機能する外部のＣＰＵ１２７からのデータを受け取り、内部ブロックに対してパラメータの設定が可能とされている。複数のフォーマットに対応するために、シンクブロック長、パリティ長を始め多くのパラメータを設定することが可能とされている。パラメータの一つとしてのシャフリングテーブルデータがビデオ用シャフリングテーブル（ＲＡＭ）１２８ｖおよびオーディオ用シャフリングテーブル（ＲＡＭ）１２８ａに格納される。シャフリングテーブル１２８ｖは、ビデオシャフリング部１０７ｂおよび１１０のシャフリングのためのアドレス変換を行う。シャフリングテーブル１２８ａは、オーディオシャフリング１１７のためのアドレス変換を行う。
【０１３０】
上述したように、ストリームコンバータ１０６からは、マクロブロック内の係数データ（可変長符号）の同じ周波数成分をまとめるように並び替えたビデオデータ（ピクチャデータ）が発生する。例えばストリームコンバータ１０６がＳＤＴＩ受信部１０５に対してリードリクエストを発生することによって、ＳＤＴＩ受信部１０５のバッファに蓄えられているストリームを読み込むようになされる。このリートリクエストをパッキングおよびシャフリング部１０７が発行しても良い。ストリームコンバータ１０６からは、ピクチャデータ以外のヘッダ情報等の非画像データも発生する。
【０１３１】
非画像データは、ＭＰＥＧシンタックスで規定されたヘッダ（ＰＥＳヘッダ、シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ）、並びにピクチャヘッダ中のユーザデータとして含まれるアンシアリイデータ（Ancillary Data: クローズドキャプション、テレテキスト、ＶＩＴＣ等）である。非画像データは、画像フォーマット、ユーザデータの量等によってデータ量が変動する可変長データである。しかも、１フレーム当たりの非画像データの最大長を見積もることは難しい。また、ビデオＥＳの場合でも、マクロブロック当たりのデータの最大長を見積もることが難しい。ＭＰＥＧシンタックスでは、マクロブロック当たりのデータが原データより多くなることが許容されている。例えば１フレームの全マクロブロックの内で、本来の画像データが少なく、その多くをユーザデータにすることも可能である。
【０１３２】
この発明の一実施形態では、非画像データをピクチャデータと同等に扱うので、ストリームコンバータ１０６からパッキングおよびシャフリング部１０７に対して非画像データも供給され、ピクチャデータと共にパッキングされる。非画像データに対してては、１マクロブロックのピクチャデータと同様に、一つの固定枠が割り当てられ、その先頭に長さ標識が付加される。従って、１編集単位例えば１フレーム期間の発生データ量を所定のものに制御する場合には、非画像データを含むデータ量が所定のものに制御され、１フレームの全マクロブロックの数に１を加えた数の固定枠にピクチャデータおよび非画像データがパッキングされる。この一実施形態では、１ＧＯＰが１枚のＩピクチャで構成され、１スライスが１マクロブロックで構成され、ピクチャデータがスライス１から開始するので、便宜上、非画像データをスライス０と呼び、ピクチャデータのスライスを総称してスライスＸと呼ぶ。
【０１３３】
図２０および図２１を参照して、ストリームコンバータ１０６とパッキングおよびシャフリング部１０７との間のデータのインターフェースについて説明する。図２０は、スライスＸをストリーム（図１におけるストリームＮＸ）として伝送する場合を示す。図２０Ａに示すシンクパルスと同期して、図２０Ｂに示すように、スライスＸのデータ（バイトシリアルのストリーム）が転送される。転送レートは、入力画像データのフォーマットによって変わるが、例えばＭＰＥＧの規定の上限値である５０Ｍ bpsである。この転送レートと等しい周波数のベースバンドクロックが使用される。
【０１３４】
スライスＸの場合、シンクパルスが５４４クロックの周期で発生し、５４４クロック中で最大５１２クロック（５１２バイト）の期間でデータを転送するようになされる。各周期で、１スライスのピクチャデータが転送される。上述したように、１マクロブロックで発生するピクチャデータの最大長は、見積もりが難しいが、この一実施形態では、一例として、５１２バイトをスライスＸの１スライスが越えないように、ストリームコンバータ１０６において制限している。また、図２０Ｃに示すように、ストリームコンバータ１０６からは、各周期内で転送されるスライスの長さに一致した期間、ハイレベルとなるイネーブル信号をデータと同期して発生する。
【０１３５】
パッキングおよびシャフリング部１０７（パッキング部１０７ａ）では、図２０Ｄに示すように、シンクパルスでリセットされてからイネーブル信号のハイレベルの期間を計測することによって、各周期で転送されるスライスのデータ長を検出することができる。イネーブル信号を送る代わりに、パッキングおよびシャフリング部１０７において受け取ったデータをカウントする方法もあるが、予めストリームコンバータ１０６がストリームを知っているので、再度、パッキングおよびシャフリング部１０７において解析する必要がないことので、イネーブル信号を送るようにしている。
【０１３６】
図２１は、スライス０をストリームコンバータ１０６からストリーム（図１におけるストリームＮＸ）としてパッキングおよびシャフリング部１０７へ転送する場合を説明するものである。スライス０は、図２１Ｂに示すように、上述したスライスＸと同様に、５４４クロックの中の最大５１２クロックの区間を使用して転送される。但し、図２１Ａに示すように、スライス０の転送が終了するまでシンクパルスが発生せず、それによってスライス０が１スライスであることが指示される。図２１Ｃに示すように、各周期の中で、データの期間に対応してハイレベルとなるイネーブル信号も転送される。パッキングおよびシャフリング部１０７（パッキング部１０７ａ）では、図２１Ｄに示すように、シンクパルスでリセットされてからイネーブル信号のハイレベルの期間を計測することによって、スライス０のデータ長を検出することができる。
【０１３７】
なお、スライスＸは、図２０Ｅに示すように、固定の３バイトのスタートコード（０００００１）Ｈ（Ｈは１６進を意味する）の後に、スライススタートコード（０１）Ｈ〜（ＡＦ）Ｈが続くように規定されている。一方、スライス０の場合には、図２１Ｅに示すように、固定の３バイトのスタートコードの後に、sequence header code（Ｂ３）Ｈが続く。従って、スライス０とスライスＸとを識別するために、スライス０の場合には、スタートコードを（００００００）Ｈに変更する。他の方法として、スタートコードを共に（０００００１）Ｈとして、その後が（Ｂ３）Ｈかどうかを調べて、スライス０とスライスＸとを識別するようにしても良い。
【０１３８】
上述したインターフェースは、要約すると、スライスＸのシンクパルスの間隔が５４４クロックの固定とし、有効データの区間をイネーブル信号で示し、その最大長を５１２クロックとし、シンクパルスの間隔内でイネーブル信号の立ち上がりおよび立ち下がりがそれぞれ１回とされる。スライス０については、１シンク間隔内で、イネーブル信号の立ち上がりおよび立ち下がりが複数回あることがある。さらに、図２０Ｂおよび図２１Ｂにおいて斜線で示すように、スライス０およびスライスＸの何れの場合でも、シンクパルスの間隔より有効データの区間が短いので、データが転送されない期間が生じる。このデータを転送できない期間をスライス０およびスライスＸの両者に関して設けることによって、瞬間的に必要となるメインメモリ１６０の転送レートを下げることができ、消費電力の削減や内部メモリをなくすことが可能となる。
【０１３９】
シンクパルスは、ストリームコンバータ１０６がビデオＥＳから以下のような順序で生成する。
【０１４０】
【０１４１】
さらに、上述したように、データを転送するインターフェースについて図２２を参照してより詳細に説明する。図２２Ａがシンクパルスを示し、図２２Ｂがストリームコンバータ１０６からのビデオＥＳを示す。図２２Ｂの例では、シンクパルスの間隔（５４４クロック）を４個使用してスライス０のデータを間欠的に転送し、その後、スライス１から順に転送している。
【０１４２】
スライス０がシーケンスヘッダが始まる場合では、スライス０のデータの内容は、例えば図２２Ｃに示すものである。スライス０は、第１のデータ部分、第２のデータ部分、第３のデータ部分からなる。第１のデータ部分は、sequence header() 、sequence extension()およびextension and user data(0)からなる。第２のデータ部分は、group of pictures header()およびextension and user data(1)からなる。第３のデータ部分は、picture header()、picture coding extension()およびextension and user data(2)からなる。この一実施形態では、sequence header() 、group of pictures header()、picture header()をピクチャ毎に必ず付けるようにしている。さらに、スライスＸ（スライス１、スライス２、・・・）には、それぞれslice() の後にmacroblock()が続くデータである。extension and user data() には、ビデオインデックス（垂直ブランキング期間内の特定のライン中に挿入されるコード化された情報）、ビデオアンシラリイデータ，クローズドキャプション、テレテキスト、ＶＩＴＣ（垂直ブランキング期間内に記録されるタイムコード）、ＬＴＣ（テープ長手方向に記録されるタイムコード）などのデータが収められる。
【０１４３】
各データの内容および多重化方法は、ＭＰＥＧシンタックス(ISO/IEC 13818-2) において規定されている。その一部について説明すると、図２３がスタートコード値の規定を示す。スタートコードは、ビデオＥＳ中で特異なビットパターンを有する。各スタートコードは、２バイトの所定のビット列(0000 0000 0000 0000) の後にスタートコード値が続くものである。例えばslice start codeが（０１〜ＡＦ）と規定され、sequence header codeが（Ｂ３）と規定されている。
【０１４４】
また、図２４は、ＭＰＥＧシンタックス（ビデオシーケンス）を示すものである。図２４中で現れ、上述したようなデータ、すなわち、sequence header() 、sequence extension()、extension and user data() 、group of pictures header()、picture header()、picture coding extension()がスライス０（非画像データ）として扱われる。
【０１４５】
図２５は、Sequence header の内容を示すものである。例えばhorizontal size value （１２ビット）が画像の横の画素数を表し、bit rate valueがビットレートを表す。図２６は、Group of pictures headerの内容を表す。例えばtime code がシーケンスの先頭からの時間を示し、closed gopは、ＧＯＰ内の画像が他のＧＯＰから独立して再生可能なことを示す。図２７は、Picture headerの内容を示す。例えばpicture coding type がピクチャタイプを示し、full pel forward vector が動きベクトルの精度が整数画素か半画素単位かを示す。
【０１４６】
なお、この発明は、ＭＰＥＧ２のみならず、ＭＰＥＧ１のストリームに対しても適用可能なことは勿論である。また、この発明は、１ＰＥＳ＝１ピクチャとされているＰＥＳを記録／再生する場合に対しても適用することができる。さらに、この発明は、磁気テープ以外の光テープ、光ディスク（光磁気ディスク、相変化型ディスク）等の記録媒体を使用する場合に対しても適用することができる。
【０１４７】
【発明の効果】
この発明では、ＭＰＥＧの規定に準拠したストリームを記録／再生することができ、また、このＥＳを入出力することができるので、ディレイの少ない記録／再生装置を構成することができる。また、ＭＰＥＧシンタックスに対して一部修正を加えたデバイスストリームを記録／再生するので、エラーに対する耐性を高め、変速再生時の画質を向上することができる。また、ストリームコンバータにおいて１マクロブロック当たりの可変長データの最大長を制限しているので、その最大長のデータをマクロブロックの時間内に転送できるだけのバンド幅を確保すれば良い利点がある。
【図面の簡単な説明】
【図１】この発明の基本的構成を示すブロック図である。
【図２】この発明の基本的構成の記録時の構成を示すブロック図である。
【図３】この発明の基本的構成の再生時の構成を示すブロック図である。
【図４】この発明の基本的構成のダビング時の構成を示すブロック図である。
【図５】この発明に使用するストリーム転送方法を示す略線図である。
【図６】この発明に使用するストリーム転送方法のパケット構成の一例を示す略線図である。
【図７】この発明の一実施形態の記録側の構成を示すブロック図である。
【図８】この発明の一実施形態の再生側の構成を示すブロック図である。
【図９】トラックフォーマットの一例を示す略線図である。
【図１０】トラックフォーマットの他の例を示す略線図である。
【図１１】シンクブロックの構成の複数の例を示す略線図である。
【図１２】シンクブロックに付加されるＩＤおよびＤＩＤの内容を示す略線図である。
【図１３】ビデオエンコーダの一例のブロック図である。
【図１４】ビデオエンコーダの出力の方法と可変長符号化を説明するための略線図である。
【図１５】ビデオエンコーダの出力の順序の並び替えを説明するための略線図である。
【図１６】順序の並び替えられたデータをシンクブロックにパッキングする処理を説明するための略線図である。
【図１７】ビデオデータおよびオーディオデータに対するエラー訂正符号を説明するための略線図である。
【図１８】記録信号処理部のより具体的なブロック図である。
【図１９】使用するメモリのメモリ空間を示す略線図である。
【図２０】画像データの転送方法を説明するためのタイミングチャートである。
【図２１】非画像データの転送方法を説明するためのタイミングチャートである。
【図２２】ストリームの転送方法を説明するためのタイミングチャートである。
【図２３】ＭＰＥＧシンタックスのスタートコード値の規定を示す略線図である。
【図２４】ＭＰＥＧシンタックスを説明するための略線図である。
【図２５】ＭＰＥＧシンタックスを説明するための略線図である。
【図２６】ＭＰＥＧシンタックスを説明するための略線図である。
【図２７】ＭＰＥＧシンタックスを説明するための略線図である。
【符号の説明】
１・・・ＳＤＴＩ受信部、２・・・ビデオエンコーダ、３・・・記録側フォーマットコンバータ、４・・・ＥＣＣエンコーダ、１２・・・ＥＣＣデコーダ、１３・・・再生側フォーマットコンバータ、１４・・・ＳＤＴＩ送信部、１５・・・ビデオデコーダ、１０６・・・ストリームコンバータ、１０７・・・パッキングおよびシャフリング部、１０９、１１６・・・外符号エンコーダ、１１０、１１７・・・シャフリング部、１１８・・・ＩＤ付加部、１２０・・・同期付加部、１６０・・・メインメモリ
Claims (10)
- 記録媒体に画像データを記録する画像データ記録装置において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数の上記ブロックからなるマクロブロック層と、１以上の上記マクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取る受信部と、
上記受信部からの上記エレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換手段と、
上記デバイスストリームに対して記録処理を行う記録処理部と、
上記記録処理部からの記録データを記録媒体に記録する記録部とからなり、
上記記録側ストリーム変換手段は、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録装置。 - 記録媒体に画像データを記録し、記録媒体から画像データを再生する画像データ記録再生装置において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数の上記ブロックからなるマクロブロック層と、１以上の上記マクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取る受信部と、
上記受信部からの上記エレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換手段と、
上記デバイスストリームに対して記録処理を行う記録処理部と、
上記記録処理部からの記録データを記録媒体に記録する記録部と、
上記記録媒体からデータを再生する再生部と、
上記再生部からの再生データに対して再生処理を行う再生処理部と、
上記再生処理部からの上記デバイスストリームを上記エレメンタリストリームへフォーマット変換する再生側ストリーム変換手段と、
上記再生側ストリーム変換手段からの上記エレメンタリストリームを外部へ出力する送信部とからなり、
上記記録側ストリーム変換手段は、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録再生装置。 - 請求項１または２において、
さらに、上記エレメンタリストリームを画像データから生成するビデオエンコーダを有することを特徴とする装置。 - 請求項２において、
さらに、上記エレメンタリストリームを復号して画像データを生成するビデオデコーダを有することを特徴とする装置。 - 請求項１または２において、
上記記録側ストリーム変換手段は、１スライスが複数のマクロブロックからなる時に１スライスを１マクロブロックに変換することを特徴とする装置。 - 請求項１または２において、
上記記録側ストリーム変換手段は、上記マクロブロックの上記可変長データの順序を並び替えるものであって、
上記ブロック毎に上記可変長データを出力する順序を、複数の上記ブロックにまたがって、可変長データの各周波数成分を集め、低い周波数成分から高い周波数成分に順に並べて出力する順序に変換することを特徴とする装置。 - 請求項１または２において、
上記記録側ストリーム変換手段は、上記エレメンタリストリーム中に存在するヘッダのデータを１スライスのデータにまとめて上記記録処理部に対して出力し、
上記記録処理部が上記ヘッダのデータからなる１スライスを画像データの１スライスと同一に扱うことを特徴とする装置。 - 請求項６において、
さらに、上記エレメンタリストリーム中の存在するユーザデータを上記ヘッダのデータと共に１スライスのデータにまとめて上記記録処理部に対して出力することを特徴とする装置。 - 記録媒体に画像データを記録する画像データ記録方法において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数の上記ブロックからなるマクロブロック層と、１以上の上記マクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取るステップと、
受け取った上記エレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換のステップと、
上記デバイスストリームに対して記録処理を行う記録処理のステップと、
上記記録処理で発生した記録データを記録媒体に記録するステップとからなり、
上記記録側ストリーム変換のステップは、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録方法。 - 記録媒体に画像データを記録し、記録媒体から画像データを再生する画像データ記録再生方法において、
画像データの１画面を複数のブロックに分割し、各ブロックのデータを直交変換することによって係数データを生成し、係数データを可変長符号化することによって生成された可変長データからなるブロック層と、空間的に近接する複数の上記ブロックからなるマクロブロック層と、１以上の上記マクロブロックからなるスライス層と、１以上のスライスからなるピクチャ層と、１以上のピクチャからなるＧＯＰ層と、１以上のＧＯＰからなるシーケンス層とで構成される階層構造を有するエレメンタリストリームを外部から受け取るステップと、
受け取った上記エレメンタリストリームをデバイスストリームへフォーマット変換する記録側ストリーム変換のステップと、
上記デバイスストリームに対して記録処理を行う記録処理のステップと、
上記記録処理で発生した記録データを記録媒体に記録するステップと、
上記記録媒体からデータを再生するステップと、
再生データに対して再生処理を行う再生処理のステップと、
上記再生処理で発生した上記デバイスストリームを上記エレメンタリストリームへフォーマット変換する再生側ストリーム変換のステップと、
上記再生側ストリーム変換のステップで発生した上記エレメンタリストリームを外部へ出力する送信のステップとからなり、
上記記録側ストリーム変換のステップは、１マクロブロックの可変長データのデータ長の最大値を制限することを特徴とする画像データ記録再生方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31759698A JP4010066B2 (ja) | 1998-11-09 | 1998-11-09 | 画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法 |
| EP99308688A EP1001626A3 (en) | 1998-11-09 | 1999-11-02 | Video data recording and reproducing apparatus |
| US09/436,308 US6654544B1 (en) | 1998-11-09 | 1999-11-08 | Video data recording apparatus, video data recording method, video data reproducing apparatus, video data reproducing method, video data recording and reproducing apparatus, and video data recording and reproduction method |
| KR1019990049428A KR100676093B1 (ko) | 1998-11-09 | 1999-11-09 | 비디오 데이터 기록 장치, 비디오 데이터 기록 방법,비디오 데이터 재생 장치, 비디오 데이터 재생 방법,비디오 데이터 기록 및 재생 장치, 및 비디오 데이터 기록및 재생 방법 |
| CNB991277252A CN1143301C (zh) | 1998-11-09 | 1999-11-09 | 视频数据记录设备、重放设备、录放设备，和相应的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31759698A JP4010066B2 (ja) | 1998-11-09 | 1998-11-09 | 画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000152160A JP2000152160A (ja) | 2000-05-30 |
| JP4010066B2 true JP4010066B2 (ja) | 2007-11-21 |
Family
ID=18089990
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31759698A Expired - Fee Related JP4010066B2 (ja) | 1998-11-09 | 1998-11-09 | 画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US6654544B1 (ja) |
| EP (1) | EP1001626A3 (ja) |
| JP (1) | JP4010066B2 (ja) |
| KR (1) | KR100676093B1 (ja) |
| CN (1) | CN1143301C (ja) |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4083302B2 (ja) * | 1998-08-12 | 2008-04-30 | 株式会社東芝 | 動画像スクランブル／デスクランブル装置 |
| KR100629099B1 (ko) * | 1998-10-21 | 2006-09-28 | 소니 가부시끼 가이샤 | 데이터 처리 장치 및 방법과 기록 장치 및 방법 |
| US7327791B1 (en) * | 1999-02-22 | 2008-02-05 | Mitsubishi Denki Kabushiki Kaisha | Video decoding method performing selective error concealment and resynchronization |
| KR100606075B1 (ko) * | 1999-11-27 | 2006-07-26 | 삼성전자주식회사 | 파일속성 변경 및 관리방법 |
| US6985848B2 (en) * | 2000-03-02 | 2006-01-10 | Texas Instruments Incorporated | Obtaining and exporting on-chip data processor trace and timing information |
| JP2002140077A (ja) * | 2000-10-30 | 2002-05-17 | Sony Corp | データ伝送方法、記録制限方法、再生制限方法、記録装置、再生装置および記録媒体 |
| KR100838902B1 (ko) * | 2000-11-29 | 2008-06-16 | 소니 가부시끼 가이샤 | 스트림 처리 장치 |
| KR100739319B1 (ko) * | 2000-12-15 | 2007-07-12 | 주식회사 케이티 | 비디오 스트림을 재합성하기 위한 알티피 수신 페이로드핸들러 장치 및 그 방법 |
| KR100771596B1 (ko) * | 2001-01-05 | 2007-10-31 | 엘지전자 주식회사 | 디지털 캠코더 포맷 영상의 복호화 방법 및 장치 |
| CN100369481C (zh) * | 2003-02-04 | 2008-02-13 | 松下电器产业株式会社 | 代码变换方法及其装置 |
| US7415161B2 (en) * | 2004-03-25 | 2008-08-19 | Faraday Technology Corp. | Method and related processing circuits for reducing memory accessing while performing de/compressing of multimedia files |
| JP4352976B2 (ja) * | 2004-04-20 | 2009-10-28 | 株式会社日立製作所 | 受信装置及び受信方法 |
| EP1779673A1 (en) * | 2004-07-15 | 2007-05-02 | Qualcomm Incorporated | H.264 spatial error concealment based on the intra-prediction direction |
| US7362905B2 (en) * | 2004-08-31 | 2008-04-22 | Mediatek Inc. | Methods and systems for DV encoding and decoding |
| JP4270161B2 (ja) * | 2005-04-15 | 2009-05-27 | ソニー株式会社 | 情報記録再生システム、情報記録再生装置及び情報記録再生方法 |
| US9055298B2 (en) * | 2005-07-15 | 2015-06-09 | Qualcomm Incorporated | Video encoding method enabling highly efficient partial decoding of H.264 and other transform coded information |
| US20070201833A1 (en) * | 2006-02-17 | 2007-08-30 | Apple Inc. | Interface for defining aperture |
| AU2007237313A1 (en) * | 2007-12-03 | 2009-06-18 | Canon Kabushiki Kaisha | Improvement for error correction in distributed vdeo coding |
| US20110107380A1 (en) * | 2009-10-29 | 2011-05-05 | Cleversafe, Inc. | Media distribution to a plurality of devices utilizing buffered dispersed storage |
| EP3780592A1 (en) | 2011-11-25 | 2021-02-17 | Maxell, Ltd. | Image transmission device |
| US20150382024A1 (en) * | 2013-05-01 | 2015-12-31 | Lg Electronics Inc. | Apparatus and method of transmitting and receiving signal |
| CN107102220B (zh) * | 2017-03-14 | 2019-11-15 | 全球能源互联网研究院有限公司 | 录波数据处理方法及装置 |
| CN108156440B (zh) * | 2017-12-26 | 2020-07-14 | 重庆邮电大学 | 一种基于分块dct变换的三维视频深度图非编码传输方法 |
| JP2021040264A (ja) * | 2019-09-04 | 2021-03-11 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0469835B1 (en) * | 1990-07-31 | 1998-09-30 | Canon Kabushiki Kaisha | Image processing apparatus and method |
| US5511054A (en) * | 1993-03-31 | 1996-04-23 | Sony Corporation | Apparatus and method for multiplexing encoded data signals and recording medium having multiplexed signals recorded thereon |
| JP3575100B2 (ja) * | 1994-11-14 | 2004-10-06 | ソニー株式会社 | データ送信／受信装置及び方法並びにデータ記録／再生装置及び方法 |
| KR0137701B1 (ko) * | 1994-12-13 | 1998-05-15 | 양승택 | 엠피이지-2(mpeg-2) 시스템의 피이에스(pes) 패킷화 장치 |
| JP3431331B2 (ja) * | 1995-03-01 | 2003-07-28 | 株式会社日立製作所 | 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置 |
| US6081300A (en) * | 1995-05-24 | 2000-06-27 | Thomson Consumer Electronics, Inc. | Apparatus and method for generating on-screen-display messages using stored bitstreams |
| JPH09139937A (ja) * | 1995-11-14 | 1997-05-27 | Fujitsu Ltd | 動画ストリーム変換装置 |
| JPH10154373A (ja) * | 1996-09-27 | 1998-06-09 | Sony Corp | データデコードシステムおよびデータデコード方法、伝送装置および方法、並びに、受信装置および方法 |
| EP0840517A3 (en) * | 1996-10-31 | 2003-09-10 | Matsushita Electric Industrial Co., Ltd. | Video data stream decoding method and apparatus |
| KR100480156B1 (ko) * | 1996-11-29 | 2005-07-12 | 엘지전자 주식회사 | 광디스크기록/재생장치 |
| KR19980073528A (ko) * | 1997-03-15 | 1998-11-05 | 구자홍 | 엠펙시스템 복호기장치 |
| US5832085A (en) * | 1997-03-25 | 1998-11-03 | Sony Corporation | Method and apparatus storing multiple protocol, compressed audio video data |
| KR100243209B1 (ko) * | 1997-04-30 | 2000-02-01 | 윤종용 | 오류정정 능력을 개선한 디지털 기록/재생 장치와 그 방법 |
| JP3803843B2 (ja) * | 1997-09-09 | 2006-08-02 | 株式会社日立製作所 | ディジタル信号記録装置及び記録再生装置及び受信記録再生装置 |
| KR100876062B1 (ko) * | 2007-07-11 | 2008-12-26 | 에스케이 텔레콤주식회사 | 이동 통신망에서 패킷망과 써킷망간 호 이중화 시스템 및방법 |
-
1998
- 1998-11-09 JP JP31759698A patent/JP4010066B2/ja not_active Expired - Fee Related
-
1999
- 1999-11-02 EP EP99308688A patent/EP1001626A3/en not_active Withdrawn
- 1999-11-08 US US09/436,308 patent/US6654544B1/en not_active Expired - Fee Related
- 1999-11-09 KR KR1019990049428A patent/KR100676093B1/ko not_active IP Right Cessation
- 1999-11-09 CN CNB991277252A patent/CN1143301C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6654544B1 (en) | 2003-11-25 |
| CN1143301C (zh) | 2004-03-24 |
| EP1001626A3 (en) | 2003-02-05 |
| CN1257283A (zh) | 2000-06-21 |
| KR20000035333A (ko) | 2000-06-26 |
| EP1001626A2 (en) | 2000-05-17 |
| KR100676093B1 (ko) | 2007-02-01 |
| JP2000152160A (ja) | 2000-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4010066B2 (ja) | 画像データ記録装置および記録方法、並びに画像データ記録再生装置および記録再生方法 | |
| KR100654072B1 (ko) | 데이터 기록 장치, 데이터 기록 방법, 데이터 기록 및재생 장치, 데이터 기록 및 재생 방법, 데이터 재생 장치,데이터 재생 방법, 데이터 기록 매체, 디지털 데이터 재생장치, 디지털 데이터 재생 방법, 동기 검출 장치, 및 동기검출 방법 | |
| JP3921841B2 (ja) | 信号処理装置および方法、ならびに、記録装置、再生装置および記録再生装置 | |
| JP4182641B2 (ja) | データ処理装置および方法、ならびに、記録装置および方法 | |
| US6643729B2 (en) | Data processing apparatus and data recording apparatus | |
| KR100796885B1 (ko) | 신호 프로세서 | |
| JP2000149454A (ja) | 信号処理装置および方法、記録装置、再生装置、記録再生装置、ならびに、映像信号記録再生装置 | |
| KR100739262B1 (ko) | 기록 장치 및 기록 방법과, 재생 장치 및 재생 방법 | |
| JP3932721B2 (ja) | データ記録装置、データ記録再生装置、データ記録方法およびデータ記録再生方法 | |
| KR100681992B1 (ko) | 기록 장치 및 방법 | |
| JP3978903B2 (ja) | データ記録装置、データ記録方法、データ処理装置、およびデータ処理方法 | |
| JP4038949B2 (ja) | 再生装置および方法 | |
| JP2000149455A (ja) | データ記録装置および記録方法、データ記録再生装置および記録再生方法、並びにデータ記録媒体 | |
| JP4010067B2 (ja) | 同期検出装置および方法、ならびに、再生装置 | |
| JP4432284B2 (ja) | 記録装置および方法 | |
| JP2000132914A (ja) | データ処理装置およびデータ記録装置 | |
| JP2001169243A (ja) | 記録装置および方法、ならびに、再生装置および方法 | |
| JP2000134110A (ja) | データ伝送装置および伝送方法 | |
| JP3956510B2 (ja) | 同期検出装置および方法、ならびに、再生装置 | |
| JP2000152174A (ja) | 画像データ処理装置および方法、並びに画像データ記録装置 | |
| JP2000312341A (ja) | データ伝送装置および方法、記録装置、ならびに、記録再生装置 | |
| JP2002171241A (ja) | ストリーム伝送装置および方法 | |
| JP2000149441A (ja) | データ処理装置、データ処理方法およびデータ再生装置 | |
| JP2000152177A (ja) | データ処理装置および方法、ならびに、データ再生装置 | |
| JP2000293960A (ja) | 記録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070814 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070827 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100914 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110914 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120914 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130914 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |