JP3648322B2 - 情報供給システム、情報供給装置及び出力端末 - Google Patents
情報供給システム、情報供給装置及び出力端末 Download PDFInfo
- Publication number
- JP3648322B2 JP3648322B2 JP08414596A JP8414596A JP3648322B2 JP 3648322 B2 JP3648322 B2 JP 3648322B2 JP 08414596 A JP08414596 A JP 08414596A JP 8414596 A JP8414596 A JP 8414596A JP 3648322 B2 JP3648322 B2 JP 3648322B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- output
- audio
- private
- pulse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Telephonic Communication Services (AREA)
- Computer And Data Communications (AREA)
Description
【発明の属する技術分野】
本発明は、オーディオ情報あるいはビデオ情報の少なくともいずれか一方とプライベート情報とを含む外部出力用情報を情報供給装置から出力端末に供給し、その出力端末にて外部出力用情報に基づく所定の外部出力処理をさせる技術に関し、特に情報圧縮が施されている情報の供給技術に関する。
【0002】
【従来の技術および発明が解決しようとする課題】
従来より、映画やいわゆるカラオケ等のようにオーディオ情報あるいはビデオ情報の少なくともいずれか一方を備えるものについては、情報圧縮用符号化規格の一つであるMPEG(Moving Picture Image Coding Experts Groupe)による情報圧縮がなされた状態で供給することが考えられている。このMPEGにおいてはプライベート情報があり、オーディオ情報やビデオ情報と同じように時刻管理情報をヘッダ部分に含む形式でパケット化されたプライベートパケットとして記憶しておくことができる。そのため、例えば映画であれば、翻訳した字幕をこのプライベート情報として供給することが考えられている。
【0003】
しかしながら、例えば映画においては、もちろん場面に応じた音響効果が施されているのであるが、さらに照明による演出効果があればより一層楽しむことができる。例えば映画であれば、落ち着いたダンスの場面、火薬が爆発する激しい場面等に応じてその場面に近い照明環境を視聴している人に提供すればより一層の臨場感を与えることができる。同様にカラオケであっても照明による演出効果があればより一層楽しむことができる。
【0004】
もちろん、これらは上記映画やカラオケに限定されることなく、近年のマルチメディア技術の発展に伴い、適用可能な範囲はますます拡大していくと思われる。さらには、照明環境だけではなく、その他の環境を制御することでさらにバーチャルリアリティ化することが可能である。
【0005】
そこで、本発明はプライベート情報を例えば照明等の環境を制御するために用いることによって、オーディオあるいはビデオ情報を利用する者がより一層楽しめるようにした情報供給システム及びそのシステムに用いて有効な情報供給装置や出力端末を提供することを目的とする。
【0006】
【課題を解決するための手段及び発明の効果】
上記目的を達成するためになされた請求項1に記載の発明は、オーディオ情報とプライベート情報とを含む外部出力用情報を情報供給装置から伝送路を介して出力端末に供給し、その出力端末にて前記外部出力用情報に基づく所定の外部出力処理をさせるようにした情報供給システムにおいて、前記情報供給装置は、前記オーディオ情報を、所定の情報圧縮用符号化規格に基づき、所定のアクセス・ユニット毎にいつ再生するかを示す時刻管理情報をヘッダ部分に含む形式でパケット化した状態で記憶しておく基本情報記憶手段と、前記プライベート情報を、前記オーディオ情報の出力に対応した環境形成手段制御用のパルス信号を出力させるため、パルス出力スタイル情報及びパルス周波数の管理情報を含めて前記所定の情報圧縮用符号化規格に基づいてパケット化した状態で記憶しておくプライベート情報記憶手段と、前記パケット化されているオーディオ情報とプライベート情報とを、プライベート情報がオーディオ情報よりも時間的に早い位置に配されるよう時系列に多重化してトランスポートストリームを生成する多重化手段とを備え、前記出力端末は、前記情報供給装置から供給されたトランスポートストリームを、オーディオ側とプライベート側のパケットに分離する分離手段と、該分離手段によって分離されたオーディオ側のパケットより前記時刻管理情報を読み出し、再生すべき所定の時刻になった場合に、該当するパケットのオーディオ情報を再生して、演奏音あるいは映像として出力する基本情報再生出力手段と、前記分離手段によって分離されたプライベート側のパケットを、前記パルス出力スタイル情報及びパルス周波数の管理情報に基づくと共に、前記基本情報再生出力手段において対応するオーディオ情報の再生タイミングに基づいて再生し、環境形成手段制御用のパルス信号として出力するパルス出力制御手段とを備えることを特徴とする情報供給システムである。
【0007】
本発明の情報供給システムは、オーディオ情報とプライベート情報とを含む外部出力用情報を情報供給装置から伝送路を介して出力端末に供給し、その出力端末にて外部出力用情報に基づく所定の外部出力処理をさせるようにしたものである。
【0008】
ここで、情報供給装置の基本情報記憶手段は、オーディオ情報を、所定の情報圧縮用符号化規格に基づき、所定のアクセス・ユニット毎にいつ再生するかを示す時刻管理情報をヘッダ部分に含む形式でパケット化した状態で記憶している。また、プライベート情報記憶手段は、オーディオ情報の出力に対応した環境形成手段制御用のパルス信号を出力させるため、パルス出力スタイル情報及びパルス周波数の管理情報を含めて所定の情報圧縮用符号化規格に基づいてパケット化した状態で記憶している。
【0009】
そして、多重化手段が、パケット化されているオーディオ情報とプライベート情報とを、プライベート情報がオーディオ情報よりも時間的に早い位置に配されるよう時系列に多重化してトランスポートストリーム(以下、TSとも略記する。)を生成し、このTSが情報供給装置から出力端末に供給される。
【0010】
一方、出力端末においては、分離手段が、情報供給装置から供給されたTSを、オーディオ側とプライベート側のパケットに分離する。そして、基本情報再生出力手段が、分離手段によって分離されたオーディオ側のパケットより時刻管理情報を読み出し、再生すべき所定の時刻になった場合に、該当するパケットのオーディオ情報を再生して、演奏音あるいは映像として再生出力する。
【0011】
また、パルス出力制御手段は、分離手段によって分離されたプライベート側のパケットを、パルス出力スタイル情報及びパルス周波数の管理情報に基づくと共に、基本情報再生出力手段において対応するオーディオ情報が復号化されるタイミングを基準として再生し、環境形成手段制御用のパルス信号として出力する。
【0012】
このように、オーディオ情報とプライベート情報とを含む外部出力用情報を情報圧縮を施した状態で情報供給装置から出力端末に供給しても、出力端末側において、オーディオ情報が再生されるタイミングを基準としてプライベート情報を再生するため、プライベート情報を、オーディオ情報に対して同期のとれた状態で出力することができる。そして、このプライベート情報はパルス出力スタイル情報及びパルス周波数の管理情報に基づく環境形成手段制御用のパルス信号として出力することができるので、パルス信号によって制御可能な装置をオーディオ情報に同期させて制御できる。
【0013】
例えば請求項2に示すように、パルス出力手段より出力されたパルス信号によって制御する対象となる環境形成手段を、基本情報再生出力手段によって出力された演奏音によって形成される音場あるいは出力された映像を視認可能な場の照明環境を人工的に形成する照明環境形成手段とすることが考えられる。例えば映画においては、もちろん場面に応じた音響効果が元々施されているが、さらに照明による演出効果を加えればより一層楽しむことができる。例えば映画であれば、落ち着いたダンスの場面、火薬が爆発する激しい場面等に応じてその場面に近い照明環境を視聴者に提供すればより一層の臨場感を与えることができる。同様にカラオケであってもカラオケ伴奏に応じて変化する演出効果があればより一層楽しむことができる。
【0014】
なお、この照明環境形成手段としては、いわゆる自らが光源となる照明器具だけでなく、カラオケボックスやディスコ等にあるミラーボール等も含まれる。そして、その制御としては明るさや色を変更するだけでなく、ミラーボールであれば回転の有無や回転速度の制御等が考えられる。
【0015】
そして、これらは上記映画やカラオケに限定されることなく、近年のマルチメディア技術の発展に伴い、適用可能な範囲はますます拡大していくと思われる。さらには、照明環境に関してだけではなく、その他の環境を制御することでさらにバーチャルリアリティ化することも可能である。例えば、照明以外の環境形成手段としては、送風手段、温度調節手段、臭い発生手段あるいはスモーク発生手段等が考えられる。
【0016】
前記送風手段によって音場等に風を送れば、例えば海のイメージの曲や冬のイメージの曲・映像の場合に臨場感を増進させることができる。また、温度調節手段によって音場等の温度を調節すれば、例えば冬のイメージの曲・映像の場合に温度を低めにすれば臨場感が増す。なお、いわゆる空調手段によって、送風機能とその送風する空気温度を変化させることによって音場等の温度調節をする温度調節機能とを使い分けたり、組み合わせたりすることで、上記送風手段と温度調節手段とを兼用させることができる。例えば、組み合せの例としては、冬の海のイメージの曲・映像の場合に冷風を送って臨場感を高めるといった具合いである。
【0017】
また、臭い発生手段は音場等に所定の臭いを送るもので、例えば海のイメージの曲・映像の場合に海の臭いを発生させたり、山や森のイメージの曲・映像の場合に森林の臭いを発生させたりすることが考えられる。なお、この臭いを音場に送る場合には上記送風手段を利用してもよい。例えば、送風口に臭い発生源を配置し、風に乗せて臭いを送るといった具合いである。
【0018】
そして、スモーク発生手段は音場等にスモークを発生させるもので、幻想的なイメージの曲・映像の場合に用いると効果的である。
このように、主に人間の五感に訴えるような環境形成手段を用いて曲や映像に応じた環境を形成することにより、臨場感が増し、例えばカラオケに用いれば歌唱者だけでなく周りで聞いている人も十分に楽しめる。なお、上述した各種環境形成の手段以外にも、例えば利用者が座る椅子を揺れるようにしておき、船や汽車等に乗っている臨場感を形成したりすること等も考えられる。
【0019】
一方、このような情報供給システムに用いて有効な情報供給装置としては、請求項3に示すように、 オーディオ情報とプライベート情報とを含む外部出力用情報を、その外部出力用情報に基づいて所定の外部出力処理を行なう出力端末に伝送路を介して供給する情報供給装置において、前記オーディオ情報を、所定の情報圧縮用符号化規格に基づき、所定のアクセス・ユニット毎にいつ再生するかを示す時刻管理情報をヘッダ部分に含む形式でパケット化した状態で記憶しておく基本情報記憶手段と、前記プライベート情報を、前記オーディオ情報の出力に対応した環境形成手段制御用のパルス信号を出力させるため、パルス出力スタイル情報及びパルス周波数の管理情報を含めて前記所定の情報圧縮用符号化規格に基づいてパケット化した状態で記憶しておくプライベート情報記憶手段と、前記パケット化されているオーディオ情報とプライベート情報とを、プライベート情報がオーディオ情報よりも時間的に早い位置に配されるよう時系列に多重化してトランスポートストリームを生成する多重化手段とを備え、そのトランスポートストリーム状態で前記出力端末に供給することを特徴とするものが挙げられる。
【0020】
また、このような情報供給システムに用いて有効な出力端末としては、請求項4に示すように、オーディオ情報とプライベート情報とを含む外部出力用情報を情報供給装置から伝送路を介して供給してもらい、その外部出力用情報に基づいて所定の外部出力処理を実行する出力端末であって、前記情報供給装置からは、所定の情報圧縮用符号化規格に基づき、所定のアクセス・ユニット毎にいつ再生するかを示す時刻管理情報をヘッダ部分に含む形式でパケット化した状態のオーディオ情報と、前記所定の情報圧縮用符号化規格に基づいてパケット化した状態のプライベート情報とを、プライベート情報がオーディオ情報よりも時間的に早い位置に配されるよう時系列に多重化して生成されたトランスポートストリームを送信される出力端末において、前記プライベート情報は、前記オーディオ情報の出力に対応した環境形成手段制御用のパルス信号を出力させるためのものであり、パルス出力スタイル情報及びパルス周波数の管理情報も設定されており、前記情報供給装置から供給されたトランスポートストリームを、オーディオ側とプライベート側のパケットに分離する分離手段と、該分離手段によって分離されたオーディオ側のパケットより前記時刻管理情報を読み出し、再生すべき所定の時刻になった場合に、該当するパケットのオーディオ情報を再生して、演奏音あるいは映像として出力する基本情報再生出力手段と、前記分離手段によって分離されたプライベート側のパケットを、前記パルス出力スタイル情報及びパルス周波数の管理情報に基づくと共に、前記基本情報再生出力手段において対応するオーディオ情報の再生タイミングに基づいて再生し、環境形成手段制御用のパルス信号として出力するパルス出力制御手段とを備えることを特徴とするものが挙げられる。
【0021】
そして、この請求項4に記載の出力端末においては、請求項5に示すように、前記パルス出力手段より出力されたパルス信号によって制御する対象となる環境形成手段は、前記基本情報再生出力手段によって出力された演奏音によって形成される音場あるいは出力された映像を視認可能な場の照明環境を人工的に形成する照明環境形成手段であることを特徴とすることが考えられる。
【0022】
これら請求項3〜5に示した情報供給装置や出力端末は上述の情報供給システムに用いて有効であるが、請求項3に示す情報供給装置あるいは請求項4に示す出力端末においても、請求項1のシステムについて説明したものと同様の作用・効果を奏し、また、請求項5に示す出力端末については、請求項2のシステムについて説明したものと同様の作用・効果を奏するので、重複した作用・効果の説明は省略する。
【0023】
【発明の実施の形態】
次に、本発明の一実施形態を詳しく説明する。
図1は、本実施形態の出力端末60の構成を示すブロック図、図2は、出力端末60と、その出力端末60に情報を供給する情報供給装置20を含む情報供給システム10の構成を示すブロック図である。
【0024】
本情報供給システム10は、情報供給装置20と出力端末60とが、同軸ケーブル等で構成される伝送路90を介して接続されて構成されている。また、情報供給装置20にはエンコード装置50が付属しているが、このエンコード装置50は情報供給装置20に着脱可能である。なお、図2では出力端末60を1台だけ図示してあるが、複数の出力端末60が1台の情報供給装置20に接続されるのが普通である。また、伝送路90は、有線・無線のいかんを問わず、あらゆるものが考えられる。
【0025】
まず、エンコード装置50について図3を参照して説明する。エンコード装置50は、情報供給装置20が出力端末60へ供給するための情報を外部より入力するために用いるものである。本エンコード装置50は、ビデオエンコーダ51と、ビデオPESパケッタイザ52と、オーディオエンコーダ53と、オーディオPESパケッタイザ54と、編集装置55と、プライベートPESパケッタイザ56と、入出力装置57とを備えている。
【0026】
前記ビデオエンコーダ51は、外部から入力されたアナログのビデオ信号をエンコードしてデジタルデータ列に変換可能であり、このデジタルデータ列化されたビデオ信号はビデオPESパケッタイザ52により、この場合はMPEG2規格に従ってPESパケット化され、ビデオPESパケットとして出力される。このビデオPESパケットは、図5(A)に示すように、ヘッダ部と実効データ部とから構成されている。ヘッダ部は、パケットの開始コード・パケット長・ヘッダ長・再生時刻管理情報などから構成される。
【0027】
同様に、前記オーディオエンコーダ53は、外部から入力されたアナログのオーディオ信号をエンコードしてデジタルデータ列に変換可能であり、このデジタルデータ列化されたオーディオ信号はオーディオPESパケッタイザ54により、MPEG2規格に従ってPESパケット化され、オーディオPESパケットとして出力される。このオーディオPESパケットのデータ構成は、図5(B)に示すように、上記ビデオPESパケットと実効データ部の内容が違うだけで、基本的な構成は同様である。なお、パケットを識別するためのPID(Packet Identification )はパケット開始コードに含まれている。
【0028】
一方、プライベートデータもプライベートPESパケットとして出力されることになるのであるが、本実施形態においては、このプライベートPESパケット中にパルス信号を出力するための制御データを含ませる。このパルス信号出力用の制御データは、オーディオ情報あるいはビデオ情報との同期を取る必要があるものであり、本実施形態ではオーディオ情報と同期を取るために次のような編集がなされて作成される。
【0029】
カラオケの場合を例に取ると、プライベートデータとして、カラオケ曲のオーディオ信号に対応して照明制御データが外部のパーソナルコンピュータ(パソコン、図示略)等から編集装置55に入力される。この制御データは、所定の単位毎に再生時刻を設定する必要がある。そして、これをオーディオ情報の再生時刻管理情報を基にして設定するのである。そのために、オーディオPESパケッタイザ54からオーディオPESパケットの再生時刻管理情報を取得できるようにされている。また、入出力装置57から所定の指示を入力したり、現在の設定状況を表示出力させたりして、マニュアルでも編集作業ができるように構成されている。例えば照明制御態様を編集作業者が変更設定できるようにされている。
【0030】
このような編集作業を経て、さらにプライベートPESパケッタイザ56により、MPEG2規格に従ってPESパケット化され、プライベートPESパケットとして出力されるのであるが、このプライベートPESパケットのデータ構成は図5(C)に示すようになる。ヘッダ部は上記ビデオPESパケットやオーディオPESパケットと同様にパケットの開始コード・パケット長・ヘッダ長・再生時刻管理情報を備える。そして、実効データとしては、パルス出力スタイルや周波数管理情報等が含まれることとなる。
【0031】
パルス出力スタイルとは、図6に示すように、そのパルスの出力方向や出力タイプであり、図6ではパルスの出力方向として「正」、出力タイプとして「オープンコレクタ」が設定されている。なお、図8は、例えばステップ角が90゜の2相(A,B)相モータ用に出力するパルス例であり、パルス出力方向が「正」であれば、図8(イ)に示すようにA相が90゜進み、パルス出力方向が「負」であれば、図8(ロ)に示すようにB相が90゜進むように設定されている。
【0032】
一方、周波数管理情報は本実施形態の場合には指定周波数NO.である。なお、この指定周波数NO.に対しては、図7に示すように対応する周波数が設定されている。例えば指定周波数NO.「0」に対しては10KHz、指定周波数NO.「1」に対しては20KHz、といった具合いである。なお、図7に示す対応関係を示すテーブルは、後述するパルス出力制御装置82(図1参照)の内部メモリに格納されている。
【0033】
続いて、情報供給装置20の構成について説明する。
上記エンコード装置50が情報供給装置20に接続されている時には、図2に示すように、ビデオPESパケッタイザ52からの出力としてのビデオPESパケットは情報供給装置20の入力インタフェース21に入力され、オーディオPESパケッタイザ54の出力としてのオーディオPESパケットは入力インタフェース22に入力され、プライベートPESパケッタイザ56の出力としてのプライベートPESパケットは入力インタフェース23に入力される構造である。
【0034】
入力インタフェース21に入力されたビデオPESパケット及び入力インタフェース22に入力されたオーディオPESパケットは、バス24を介して映像音声記憶装置制御部25に転送され、映像音声記憶装置制御部25により基本情報記憶手段としての映像音声記憶装置26a,26bの所定の領域に書き込まれ記憶される。映像音声記憶装置26a,26bに記憶されているPESパケット化されたビデオデータ及びオーディオデータは、映像音声記憶装置制御部25による読み出しが可能である。
【0035】
また、入力インタフェース23から入力されたプライベートPESパケットは、プライベート記憶装置制御部27に転送され、プライベート情報記憶手段としてのプライベート記憶装置28の所定の領域に書き込まれ記憶される。プライベート記憶装置28に記憶されているPESパケット化されたプライベートデータは、プライベート記憶装置制御部27による読み出しが可能である。
【0036】
前記映像音声記憶装置制御部25は、映像音声記憶装置26a,26bに記憶されているビデオデータを読み出してビデオ緩衝メモリ31に転送し、オーディオデータを読み出してオーディオ緩衝メモリ32に転送することができる。また、プライベート記憶装置制御部27は、プライベート記憶装置28に記憶されているプライベートデータを読み出してプライベート緩衝メモリ41に転送することができる。
【0037】
ビデオ緩衝メモリ31では、映像音声記憶装置制御部25から送られてくるビデオデータを一旦記憶して、多重化手段としてのマルチプレクサ35からの要求に応じて出力することができる。同様に、オーディオ緩衝メモリ32は、映像音声記憶装置制御部25から送られてくるオーディオデータを一旦記憶して、マルチプレクサ35からの要求に応じて出力することができる。また、プライベート緩衝メモリ41では、プライベート記憶装置制御部27から送られてくるプライベートデータ列を一旦記憶して、マルチプレクサ35からの要求に応じて出力することができる。
【0038】
マルチプレクサ35は、3つの緩衝メモリ31,32,41から送られてくるビデオデータのPESパケット列とオーディオデータのPESパケット列とプライベートデータのPESパケット列とを多重化して図4に示すような1本のトランスポートストリーム(TS)とし、出力インタフェース36を通してヘッドエンド37に出力することができる。なお、図4においては、ビデオPES、プライベートPES、オーディオPESの各パケットがその順番で1つずつ多重化されているが、パケットの順番や数は必ずしも限定されない。但し、プライベートPESパケットをTSに挿入する場合に、出力端末60側にてパルス出力させるタイミングの基準となるべきオーディオPESパケットの直前に配置されるように連結して多重化すれば、後述する出力端末60でのTSの再生時には、基本となるオーディオデータを再生する際、そのオーディオデータに対応して出力すべきプライベートデータが必ず検知されることになるため、パルス出力がオーディオ再生に間に合わなくなることがない。
【0039】
なお、図示は省略しているが、この情報供給装置20には、前述したビデオ緩衝メモリ31、オーディオ緩衝メモリ32、プライベート緩衝メモリ41、マルチプレクサ35および出力インタフェース36からなるデータ出力機構が複数設けられており、ヘッドエンド37は、これら複数のデータ出力機構から送られてくるTSを各出力インタフェース36に割り当てられているチャンネルにて伝送路90に送出することができる。また、ヘッドエンド37は、モデム47から送られてくる信号を双方向通信用のチャンネルで送出し、伝送路90から双方向通信用のチャンネルで入力された信号をモデム47に転送することができる。
【0040】
モデム47は、バス24を介して制御手段としての入出力制御部30に接続されており、入出力制御部30は、モデム47およびヘッドエンド37を介して、伝送路90によって接続されている出力端末60にデータを送信したり、出力端末60からのデータを受け取ることができる。また、入出力制御部30は、前述した情報供給装置20の各部の動作を制御することができる。
【0041】
次に、図1を参照して出力端末60の構成について説明する。
図1に示すように、出力端末60は、端末各部の動作を制御するための制御手段としての中央制御装置61を備えている。この中央制御装置61は周知のマイクロコンピュータとして構成されている。中央制御装置61には、キーボード(図示略)を有する入力手段としての入力装置63が接続されており、入力装置63を操作すれば、中央制御装置61に各種のデータや指示を入力することができる。また、中央制御装置61は、モデム62を介して伝送路90に接続されており、前述の双方向通信用のチャンネルを使用して情報供給装置20の入出力制御部30と通信することができる。
【0042】
さらに、伝送路90には、受信手段としてのチューナ64が接続されている。チューナ64は、中央制御装置61の指示に応じてチャンネルを選択し、その選択されたチャンネルで送信されてくる情報を受信することができる。
チューナ64によって受信された情報は、分離手段としてのシステムデコーダ65に送出される。このシステムデコーダ65は、チューナ64によって受信され転送されてくるTS(トランスポートストリーム)を、ビデオPESパケットとオーディオPESパケットとプライベートPESパケットとに分離し、それぞれビデオバッファ73、オーディオバッファ66、プライベートバッファ81に出力することができる。
【0043】
オーディオデコーダ67は、オーディオバッファ66よりオーディオPESパケットを読み出して復号し、アナログのオーディオ信号としてアンプ69に出力することができる。アンプ69は、オーディオ信号を増幅してスピーカ70に送り、音声出力させることができる。なお、アンプ69は、ミキシング機能を備えており、図1に破線で示すようにマイク71が接続されている場合には、マイク71から入力される例えばカラオケ利用者の歌唱音声信号とオーディオデコーダ67からのオーディオ信号とをミキシングした後に増幅して、スピーカ70に出力できる。つまり、この出力端末60をカラオケ装置として使用することが可能である。
【0044】
また、ビデオデコーダ74は、ビデオバッファ73よりビデオPESパケットを読み出して復号し、アナログのビデオ信号として映像出力装置75に出力することができる。この映像出力装置75は、ビデオデコーダ74からのビデオ信号を表示手段としてのモニタテレビ76に出力することができる。モニタテレビ76では、ビデオ信号に基づく映像が表示される。
【0045】
一方、パルス出力制御装置82は、プライベートバッファ81よりプライベートPESパケットを読み出して復号し、パルス信号を作成して、「照明環境形成手段」としての照明手段78に出力する。なお、上述したように、パルス出力制御装置82の内部メモリには、指定周波数NO.(0,1,2,…)とそれに対応する周波数(10KHz,20KHz,30KHz,…)の関係を示すテーブルが格納されている。そして、プライベートPESパケットを復号して得たパルスの出力方向や出力タイプと、指定周波数NO.に対応する周波数に基づいて、パルス信号を照明手段78に出力するのである。
【0046】
また、照明手段78は、パルス出力制御装置82からのパルス信号によって明るさ等を制御可能なものであればよく、具体的にはステッピングモータやインバータ等を備えており、入力されたパルス信号によってステッピングモータやインバータが駆動することとなる。なお、この照明手段としては、いわゆる自らが光源となる照明器具だけでなく、例えばカラオケボックスやディスコ等にあるミラーボール等も含まれる。そして、その制御としては明るさや色を変更するだけでなく、ミラーボールであれば回転の有無や回転速度の制御等が考えられる。
【0047】
また、ここまでの説明から明らかなように、オーディオデコーダ67、アンプ69、スピーカ70、ビデオデコーダ74、映像出力装置75、モニタテレビ76等が基本情報再生出力手段に相当し、パルス出力制御装置82等がパルス出力制御手段に相当する。
【0048】
次に、本実施形態の情報供給システム10の動作について説明する。
まず、出力端末60の利用者が、入力装置63を操作して所望の情報の供給を要求すると、中央制御装置61はこの情報の送出要求をモデム62を通し、伝送路90を介して情報供給装置20に送信する。なお、利用者は、入力装置63にて所定のキーを操作することにより、例えば所望の映画やカラオケ曲の番号を指定することができる。
【0049】
一方、情報供給装置20では、入出力制御部30がモデム47を通してこの要求を受信する。次に、入出力制御部30は、指定された情報に対応するオーディオデータ及びプライベートデータ、そして、背景映像としてふさわしいビデオデータ(例えばカラオケであれば曲のジャンルなどによって適宜選択される。)の読み出しと、入出力制御部30が選定したデータ出力機構のビデオ緩衝メモリ31、オーディオ緩衝メモリ32並びにプライベート緩衝メモリ41への転送を、映像音声記憶装置制御部25及びプライベート記憶装置制御部27にそれぞれ指示する。
【0050】
さらに、入出力制御部30は、上記の選定したデータ出力機構の出力インタフェース36に割り当てられているチャンネルを、情報を要求してきた出力端末60に通知する。
出力端末60では、中央制御装置61がチューナ64にチャンネルの選択を指示する。こうして出力端末60は、そのチャンネルによりTS(トランスポートストリーム)が送信されてくるのを待つ。
【0051】
次に、情報供給装置20では、映像音声記憶装置制御部25が映像音声記憶装置26a、26bから、所定のビデオデータを読み出してビデオ緩衝メモリ31に転送し、またオーディオデータを読み出してオーディオ緩衝メモリ32に転送する。一方、プライベート記憶装置制御部27がプライベート記憶装置28から、所定のプライベートデータを読み出してプライベート緩衝メモリ41に転送する。
【0052】
ビデオ緩衝メモリ31、オーディオ緩衝メモリ32及びプライベート緩衝メモリ41からそれぞれ読み出されたビデオデータ、オーディオデータ及びプライベートデータはマルチプレクサ35に入力する。
マルチプレクサ35は、その3つの緩衝メモリ31,32,41から送られてくるビデオデータのPESパケット列とオーディオデータのPESパケット列とプライベートデータのPESパケット列とを多重化して1本のTSを生成し、出力インタフェース36を通してヘッドエンド37に出力する。ヘッドエンド37は、このTSを所定のチャンネルにて送出する。
【0053】
出力端末60では、チューナ64が上記指定されたチャンネルによりそのTSを受信することとなる。
このTSを受信した時点からの出力端末60における動作について、図9〜12も参照して説明する。
【0054】
図9は、システムデコーダ65において実行される処理である。まず最初のステップS1にて、TSパケットを取得したかどうかを判断する。TSパケットを取得した場合には、S2へ移行して、そのPIDの解読を行なう。
TSパケットは、オーディオPES、ビデオPES、プライベートPESのいずれであっても、図5の(A)〜(C)に示すようにパケット開始コードを持っており、そのパケット開始コードにPIDが含まれている。したがって、S2ではそのPIDを解読し、その解読結果に応じてS3〜S5の判断を行なう。
【0055】
つまり、取得したTSパケットがオーディオPESパケットであれば(S3:YES)、S6に移行してオーディオバッファ66に振り分ける。また、プライベートPESパケットであれば(S4:YES)、S7に移行してプライベートバッファ81に振り分け、ビデオPESパケットであれば(S5:YES)、S8に移行してビデオバッファ73に振り分ける。
S6〜S8の処理終了後はS1に戻り、次のTSパケットを待つ。
【0056】
このようにして、PIDに基づいてオーディオバッファ66、プライベートバッファ81、ビデオバッファ73に振り分けられたオーディオPESパケット、プライベートPESパケット、ビデオPESパケットは、それぞれオーディオデコーダ67、パルス出力制御装置82、ビデオデコーダ74に読み出されて所定の処理を実行する。以下、各処理について説明する。
【0057】
最初に、ビデオデコーダ74での処理を図10を参照して説明する。
まずS11にて、ビデオバッファ73よりビデオPESパケットを読み出す。そして、S12にて、そのPESパケットの中のヘッダ部(図5(A)参照)より再生時刻管理情報を読み出す。
【0058】
続くS13では、再生すべき時刻になっているかどうかを判断し、再生時刻になっていれば、S14に移行し、ビデオPESパケットを復号してアナログのビデオ信号として映像出力装置75に出力する。このビデオ出力処理の終了後は、S11へ戻り、次のビデオPESパケットを読み出し、S12以降の処理を繰り返す。
【0059】
なお、上記S13での再生時刻かどうかは、基本となる同期信号と再生時刻管理情報との比較で判断する。最初に同期信号がリセットされてからビデオデコーダ74は再生処理を開始し、この基本となる同期信号が再生時刻管理情報と一致した場合にS13で肯定判断となる。
【0060】
次に、オーディオデコーダ67での処理を図11を参照して説明する。
まずS21にて、オーディオバッファ66よりオーディオPESパケットを読み出す。そして、S22にて、そのオーディオPESパケットの中のヘッダ部(図5(B)参照)より再生時刻管理情報を読み出す。
【0061】
続くS23では、再生すべき時刻になっているかどうかを判断する。このS23での再生時刻かどうかも、上記ビデオPESパケットの場合と同様である。すなわち、基本の同期信号がリセットされてからオーディオデコーダ67が再生処理を開始し、この基本となる同期信号が再生時刻管理情報と一致した場合にS23で肯定判断となる。S23で肯定判断、つまり再生時刻になっていれば、S24に移行して、パルス出力制御装置82に通知を行なう。この通知内容は、再生時刻管理情報である。
【0062】
そして、S24の処理終了後S25へ移行する。S25では、オーディオPESパケットを復号してアナログのオーディオ信号としてアンプ69に出力する。このオーディオ出力処理の終了後は、S21へ戻り、次のオーディオPESパケットを読み出し、S22以降の処理を繰り返す。
【0063】
次に、パルス出力制御装置82での処理を図12を参照して説明する。
まずS31にて、プライベートバッファ81よりプライベートPESパケットを読み出す。そして、S32にて、その読み出したプライベートPESパケットの中のヘッダ部(図5(C)参照)より再生時刻管理情報を読み出す。続くS33では、上記図11のS24の処理の結果オーディオデコーダ67より出力された通知を入手する。
【0064】
そして、S34で再生すべきタイミングになっているかどうかを判断する。このS34での再生タイミングかどうかは次のように判断する。すなわち、S33で入手したオーディオデコーダ67からの通知(オーディオPESパケットにおける再生時刻管理情報)を基にし、そのオーディオPESパケットの再生時刻が、S32で読み出したプライベートPESパケットの再生時刻管理情報と一致した場合にS34で肯定判断となる。
【0065】
S34で肯定判断、つまり再生タイミングであればS35に移行する。S35では、プライベートバッファ81よりプライベートPESパケットを読み出して復号する。上述したように、パルス出力制御装置82の内部メモリには、指定周波数NO.(0,1,2,…)とそれに対応する周波数(10KHz,20KHz,30KHz,…)の関係を示すテーブルが格納されている。そして、プライベートPESパケットを復号して得たパルスの出力方向や出力タイプと、指定周波数NO.に対応する周波数に基づいて作成したパルス信号を、照明手段78に出力するのである。
【0066】
以上のような処理が実行されることにより、オーディオデコーダ67から出力されたアナログのオーディオ信号はアンプ69にて増幅され、スピーカ70に送られて音声出力される。また、ビデオデコーダ68から出力されたアナログのビデオ信号は、映像出力装置72からモニタテレビ76にて表示される。このようにして、映画あるいはカラオケを楽しむことができる。
【0067】
そして、本実施形態の場合にはオーディオ信号の再生タイミングに同期させてパルス信号を照明手段78に出力し、このパルス信号によって照明手段78での明るさ等を変更することができる。例えば映画においては、もちろん場面に応じた音響効果が元々施されているが、さらに照明による演出効果を加えればより一層楽しむことができる。映画中の落ち着いたダンスの場面、火薬が爆発する激しい場面等に応じてその場面に近い照明環境を視聴者に提供すればより一層の臨場感を与えることができる。同様にカラオケであってもカラオケ伴奏に応じて変化する照明演出効果があればより一層楽しむことができる。
【0068】
なお、上述したように、この照明手段78としては自らが光源となる照明器具だけでなくミラーボール等も含まれ、その制御としては明るさや色を変更するだけでなく、ミラーボールの回転速度等も調整できる。
以上、本発明の実施の形態について説明したが、本発明はこのような実施形態に限定されるものではなく、本発明の主旨を逸脱しない範囲でさまざまな態様に実施できることは言うまでもない。
【0069】
例えば、上記実施形態では、オーディオ情報とビデオ情報をセットにして供給しているが、それらいずれか一方であってもよい。例えばビデオ情報とそれに対応するプライベート情報の組み合わせであってもよい。
また、上記実施形態では、照明環境の制御に関して説明したが、それに限られず、その他の環境を制御することでさらにバーチャルリアリティ化することも可能である。例えば、照明以外の環境形成手段としては、送風手段、温度調節手段、臭い発生手段あるいはスモーク発生手段等が考えられる。
【0070】
送風手段によって音場等に風を送れば、例えば海のイメージの曲や冬のイメージの曲・映像の場合に臨場感を増進させることができ、また、温度調節手段によって音場等の温度を調節すれば、例えば冬のイメージの曲・映像の場合に温度を低めにすれば臨場感が増す。なお、いわゆる空調手段によって、送風機能とその送風する空気温度を変化させることによって音場等の温度調節をする温度調節機能とを使い分けたり、組み合わせたりすることで、上記送風手段と温度調節手段とを兼用させることができる。
【0071】
また、臭い発生手段は音場等に所定の臭いを送るもので、例えば海のイメージの曲・映像の場合に海の臭いを発生させたり、山や森のイメージの曲・映像の場合に森林の臭いを発生させたりすることが考えられる。なお、この臭いを音場に送る場合には上記送風手段を利用してもよい。例えば、送風口に臭い発生源を配置し、風に乗せて臭いを送るといった具合いである。
【0072】
そして、スモーク発生手段は音場等にスモークを発生させるもので、幻想的なイメージの曲・映像の場合に用いると効果的である。
このように、主に人間の五感に訴えるような環境形成手段を用いて曲や映像に応じた環境を形成することにより、臨場感が増し、例えばカラオケに用いれば歌唱者だけでなく周りで聞いている人も十分に楽しめる。なお、上述した各種環境形成の手段以外にも、例えば利用者が座る椅子を揺れるようにしておき、船や汽車等に乗っている臨場感を形成したりすること等も考えられる。何れにしても、パルス信号によって制御できるステッピングモータやインバータ等を備えていればよいので、上述した各種環境形成手段への適用もできる。
【図面の簡単な説明】
【図1】 実施形態の出力端末の構成を示すブロック図である。
【図2】 実施形態の情報供給システムの構成を示すブロック図である。
【図3】 実施形態のエンコード装置の構成を示すブロック図である。
【図4】 情報供給装置から供給されるトランスポートストリームの概略説明図である。
【図5】 (A)はビデオPESパケットのデータ構成を示す説明図、(B)はオーディオPESパケットのデータ構成を示す説明図、(C)はプライベートPESパケットのデータ構成を示す説明図である。
【図6】 プライベートPESパケットに実効データとして含まれるルス出力スタイル及び周波数管理情報の説明図である。
【図7】 指定周波数NO.と周波数との対応関係を示すテーブルの説明図である。
【図8】 ステップ角が90゜の2相(A,B)相モータ用に出力するパルス例の説明図である。
【図9】 出力端末のシステムデコーダにおいて実行される処理を示すフローチャートである。
【図10】 出力端末のビデオデコーダにおいて実行される処理を示すフローチャートである。
【図11】 出力端末のオーディオデコーダにおいて実行される処理を示すフローチャートである。
【図12】 出力端末のパルス出力制御装置において実行される処理を示すフローチャートである。
【符号の説明】
10…情報供給システム 20…情報供給装置
25…映像音声記憶装置制御部 26a,26b…映像音声記憶装置
27…プライベート記憶装置制御部 28…プライベート記憶装置
30…入出力制御部 31…ビデオ緩衝メモリ
32…オーディオ緩衝メモリ 35…マルチプレクサ
36…出力インタフェース 37…ヘッドエンド
41…プライベート緩衝メモリ 50…エンコード装置
51…ビデオエンコーダ 52…ビデオPESパケッタイザ
53…オーディオエンコーダ 54…オーディオPESパケッタイザ
55…編集装置 56…プライベートPESパケッタイザ
57…入出力装置 60…出力端末
61…中央制御装置 64…チューナ
65…システムデコーダ 66…オーディオバッファ
67…オーディオデコーダ 69…アンプ
70…スピーカ 73…ビデオバッファ
74…ビデオデコーダ 75…映像出力装置
76…モニタテレビ 78…照明手段
81…プライベートバッファ 82…パルス出力制御装置
90…伝送路
Claims (5)
- オーディオ情報とプライベート情報とを含む外部出力用情報を情報供給装置から伝送路を介して出力端末に供給し、その出力端末にて前記外部出力用情報に基づく所定の外部出力処理をさせるようにした情報供給システムにおいて、
前記情報供給装置は、
前記オーディオ情報を、所定の情報圧縮用符号化規格に基づき、所定のアクセス・ユニット毎にいつ再生するかを示す時刻管理情報をヘッダ部分に含む形式でパケット化した状態で記憶しておく基本情報記憶手段と、
前記プライベート情報を、前記オーディオ情報の出力に対応した環境形成手段制御用のパルス信号を出力させるため、パルス出力スタイル情報及びパルス周波数の管理情報を含めて前記所定の情報圧縮用符号化規格に基づいてパケット化した状態で記憶しておくプライベート情報記憶手段と、
前記パケット化されているオーディオ情報とプライベート情報とを、プライベート情報がオーディオ情報よりも時間的に早い位置に配されるよう時系列に多重化してトランスポートストリームを生成する多重化手段とを備え、
前記出力端末は、
前記情報供給装置から供給されたトランスポートストリームを、オーディオ側とプライベート側のパケットに分離する分離手段と、
該分離手段によって分離されたオーディオ側のパケットより前記時刻管理情報を読み出し、再生すべき所定の時刻になった場合に、該当するパケットのオーディオ情報を再生して、演奏音あるいは映像として出力する基本情報再生出力手段と、
前記分離手段によって分離されたプライベート側のパケットを、前記パルス出力スタイル情報及びパルス周波数の管理情報に基づくと共に、前記基本情報再生出力手段において対応するオーディオ情報の再生タイミングに基づいて再生し、環境形成手段制御用のパルス信号として出力するパルス出力制御手段とを備えることを特徴とする情報供給システム。 - 請求項1に記載の情報供給システムにおいて、
前記パルス出力手段より出力されたパルス信号によって制御する対象となる環境形成手段は、前記基本情報再生出力手段によって出力された演奏音によって形成される音場あるいは出力された映像を視認可能な場の照明環境を人工的に形成する照明環境形成手段であることを特徴とする情報供給システム。 - オーディオ情報とプライベート情報とを含む外部出力用情報を、その外部出力用情報に基づいて所定の外部出力処理を行なう出力端末に伝送路を介して供給する情報供給装置において、
前記オーディオ情報を、所定の情報圧縮用符号化規格に基づき、所定のアクセス・ユニット毎にいつ再生するかを示す時刻管理情報をヘッダ部分に含む形式でパケット化した状態で記憶しておく基本情報記憶手段と、
前記プライベート情報を、前記オーディオ情報の出力に対応した環境形成手段制御用のパルス信号を出力させるため、パルス出力スタイル情報及びパルス周波数の管理情報を含めて前記所定の情報圧縮用符号化規格に基づいてパケット化した状態で記憶しておくプライベート情報記憶手段と、
前記パケット化されているオーディオ情報とプライベート情報とを、プライベート情報がオーディオ情報よりも時間的に早い位置に配されるよう時系列に多重化してトランスポートストリームを生成する多重化手段とを備え、そのトランスポートストリーム状態で前記出力端末に供給することを特徴とする情報供給装置。 - オーディオ情報とプライベート情報とを含む外部出力用情報を情報供給装置から伝送路を介して供給してもらい、その外部出力用情報に基づいて所定の外部出力処理を実行する出力端末であって、前記情報供給装置からは、所定の情報圧縮用符号化規格に基づき、所定のアクセス・ユニット毎にいつ再生するかを示す時刻管理情報をヘッダ部分に含む形式でパケット化した状態のオーディオ情報と、前記所定の情報圧縮用符号化規格に基づいてパケット化した状態のプライベート情報とを、プライベート情報がオーディオ情報よりも時間的に早い位置に配されるよう時系列に多重化して生成されたトランスポートストリームを送信される出力端末において、
前記プライベート情報は、前記オーディオ情報の出力に対応した環境形成手段制御用のパルス信号を出力させるためのものであり、パルス出力スタイル情報及びパルス周波数の管理情報も設定されており、
前記情報供給装置から供給されたトランスポートストリームを、オーディオ側とプライベート側のパケットに分離する分離手段と、
該分離手段によって分離されたオーディオ側のパケットより前記時刻管理情報を読み出し、再生すべき所定の時刻になった場合に、該当するパケットのオーディオ情報を再生して、演奏音あるいは映像として出力する基本情報再生出力手段と、
前記分離手段によって分離されたプライベート側のパケットを、前記パルス出力スタイル情報及びパルス周波数の管理情報に基づくと共に、前記基本情報再生出力手段において対応するオーディオ情報の再生タイミングに基づいて再生し、環境形成手段制御用のパルス信号として出力するパルス出力制御手段とを備えることを特徴とする出力端末。 - 請求項4に記載の出力端末において、
前記パルス出力手段より出力されたパルス信号によって制御する対象となる環境形成手段は、前記基本情報再生出力手段によって出力された演奏音によって形成される音場あるいは出力された映像を視認可能な場の照明環境を人工的に形成する照明環境形成手段であることを特徴とする出力端末。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08414596A JP3648322B2 (ja) | 1996-04-05 | 1996-04-05 | 情報供給システム、情報供給装置及び出力端末 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP08414596A JP3648322B2 (ja) | 1996-04-05 | 1996-04-05 | 情報供給システム、情報供給装置及び出力端末 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09275419A JPH09275419A (ja) | 1997-10-21 |
JP3648322B2 true JP3648322B2 (ja) | 2005-05-18 |
Family
ID=13822340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP08414596A Expired - Lifetime JP3648322B2 (ja) | 1996-04-05 | 1996-04-05 | 情報供給システム、情報供給装置及び出力端末 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3648322B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8113839B2 (en) | 2000-07-21 | 2012-02-14 | Sony Corporation | Information processing apparatus, information processing method, information processing system, and storage medium |
JP4599679B2 (ja) * | 2000-07-21 | 2010-12-15 | ソニー株式会社 | 情報処理装置および方法、並びに提示システム |
WO2003003795A1 (en) * | 2001-06-28 | 2003-01-09 | Matsushita Electric Industrial Co., Ltd. | Illumination service providing method, illumination apparatus, recording medium, and reproduction apparatus |
EP1878119A4 (en) * | 2005-04-26 | 2010-07-07 | D Box Technologies Inc | METHOD AND DEVICE FOR CODING A MOTION SIGNAL WITH A SOUND SIGNAL |
US7680451B2 (en) * | 2005-04-26 | 2010-03-16 | D-Box Technologies Inc. | Method and apparatus for providing a motion signal with a sound signal using an existing sound signal encoding format |
WO2007119277A1 (ja) * | 2006-03-20 | 2007-10-25 | Sharp Kabushiki Kaisha | 視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 |
-
1996
- 1996-04-05 JP JP08414596A patent/JP3648322B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH09275419A (ja) | 1997-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6022223A (en) | Video/audio data supplying device | |
JP3059131B2 (ja) | 多重角再生のためのデータの同期再生装置 | |
WO2005098854A1 (ja) | 音声再生装置、音声再生方法及びプログラム | |
MXPA96002842A (en) | Method and multip data current search system | |
KR100291890B1 (ko) | 대화형 멀티미디어 오락기를 위한 시스템 및 그 장치 | |
JP3648322B2 (ja) | 情報供給システム、情報供給装置及び出力端末 | |
JP2008079114A (ja) | 同期再生システム | |
JP2005278152A (ja) | 映像音声再生装置及び映像音声再生方法 | |
JP5143154B2 (ja) | コンテンツ提供システム、コンテンツ生成装置、コンテンツ再生装置及びコンテンツ提供方法 | |
JPH10187168A (ja) | カラオケ装置 | |
KR20000067376A (ko) | 노래 반주기 시스템을 이용한 라이브 영상제작시스템 | |
JPH0962277A (ja) | カラオケ情報供給システム、カラオケ情報供給装置及びカラオケ端末 | |
JPH0962275A (ja) | 情報供給システム、情報供給装置及び出力端末 | |
JPH09311689A (ja) | 情報出力装置 | |
JPH09312842A (ja) | Mpegデータ再生装置及びその再生装置を備えたmpegデータ供給・再生システム | |
JP3614923B2 (ja) | 動画再生装置 | |
JPH0965232A (ja) | 情報供給装置、情報出力装置および情報提供システム | |
JPH0981166A (ja) | 演奏情報提供装置、演奏情報出力装置及び演奏情報提供システム | |
JP4141519B2 (ja) | カラオケ装置 | |
JPH1023381A (ja) | 情報供給装置、出力端末および情報供給システム | |
JP4042958B2 (ja) | 外部機器連動型コンテンツ再生装置、その方法及びそのプログラム、並びに外部機器連動型コンテンツ送信方法 | |
JP3547060B2 (ja) | 情報供給装置 | |
JPH09330091A (ja) | 情報出力装置 | |
JPH0993499A (ja) | 映像音声データ提供装置 | |
JP2006180091A (ja) | コンテンツ合成装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050214 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080218 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090218 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100218 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110218 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120218 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130218 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140218 Year of fee payment: 9 |
|
EXPY | Cancellation because of completion of term |