JP2001103395A - ヘッド・マウント・ディスプレイ装置 - Google Patents
ヘッド・マウント・ディスプレイ装置Info
- Publication number
- JP2001103395A JP2001103395A JP28017899A JP28017899A JP2001103395A JP 2001103395 A JP2001103395 A JP 2001103395A JP 28017899 A JP28017899 A JP 28017899A JP 28017899 A JP28017899 A JP 28017899A JP 2001103395 A JP2001103395 A JP 2001103395A
- Authority
- JP
- Japan
- Prior art keywords
- head
- sensor
- pilot
- movement
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Position Input By Displaying (AREA)
Abstract
(57)【要約】
【課題】 使用者の頭の向きを正確に検出することがで
きるセンサを備えるヘッド・マウント・ディスプレイ装
置を提供する。 【解決手段】 パイロット１０のヘルメット２には表示
手段３および頭の動きを検出する頭部側３軸ジャイロセ
ンサ４が取付けられる。パイロット１０の座席の下に
は、頭部側３軸ジャイロセンサ４と同じ機体側３軸ジャ
イロセンサ５が固定され、機体の動きを検出する。制御
手段５の角度検出回路７は、頭部側３軸ジャイロセンサ
４の検出出力と機体側３軸ジャイロセンサ５の検出出力
との差分を取り、これに基づいてパイロット１０の頭の
向きを算出する。画像生成回路８では、算出した頭の向
きに応じた画像を、撮像画像画像から切り出して表示手
段３の表示画面に表示する。
きるセンサを備えるヘッド・マウント・ディスプレイ装
置を提供する。 【解決手段】 パイロット１０のヘルメット２には表示
手段３および頭の動きを検出する頭部側３軸ジャイロセ
ンサ４が取付けられる。パイロット１０の座席の下に
は、頭部側３軸ジャイロセンサ４と同じ機体側３軸ジャ
イロセンサ５が固定され、機体の動きを検出する。制御
手段５の角度検出回路７は、頭部側３軸ジャイロセンサ
４の検出出力と機体側３軸ジャイロセンサ５の検出出力
との差分を取り、これに基づいてパイロット１０の頭の
向きを算出する。画像生成回路８では、算出した頭の向
きに応じた画像を、撮像画像画像から切り出して表示手
段３の表示画面に表示する。
Description
【０００１】
【発明の属する技術分野】本発明は、たとえば航空機な
どで用いられ、パイロットのヘルメットに装備された表
示画面に画像を表示するヘッド・マウント・ディスプレ
イ装置に関する。
どで用いられ、パイロットのヘルメットに装備された表
示画面に画像を表示するヘッド・マウント・ディスプレ
イ装置に関する。
【０００２】
【従来の技術】ヘッド・マウント・ディスプレイ装置
は、ヘルメットに装備される表示画面に、たとえばカメ
ラで撮像した撮像画像から表示画像を切り出して表示す
る。そして、頭部の動きをセンサで検出し、検出した頭
部の動きに応じて切り出す表示画像を移動させる。これ
によって、使用者は見たい方向に頭を向けるだけで、そ
の方向の画像を見ることができる。
は、ヘルメットに装備される表示画面に、たとえばカメ
ラで撮像した撮像画像から表示画像を切り出して表示す
る。そして、頭部の動きをセンサで検出し、検出した頭
部の動きに応じて切り出す表示画像を移動させる。これ
によって、使用者は見たい方向に頭を向けるだけで、そ
の方向の画像を見ることができる。
【０００３】このようなヘッド・マウント・ディスプレ
イ装置は、たとえばヘリコプタなどで用いられ、パイロ
ットの向いた方向の画像をヘルメットに装備した表示画
面に表示させることによって、足元など、パイロットの
死角となる領域をなくし、パイロットのワークロードを
軽減させることができる。
イ装置は、たとえばヘリコプタなどで用いられ、パイロ
ットの向いた方向の画像をヘルメットに装備した表示画
面に表示させることによって、足元など、パイロットの
死角となる領域をなくし、パイロットのワークロードを
軽減させることができる。
【０００４】頭部の動きを検出するセンサとしては、磁
界を用いるものが考えられるが、コックピットで用いる
場合、磁界が機体の他のコントロール・コンピュータな
どと磁気干渉（ＥＭＩ）を生じる恐れがあるため使用す
ることは困難である。また、光センサを用いるものも考
えられるが、光センサは周囲に大きな設置場所を必要と
し、コックピットなど大きな空間を確保できない場合は
使用困難である。そのため、頭部の動きを検出するセン
サとして３軸ジャイロセンサセンサが用いられる。
界を用いるものが考えられるが、コックピットで用いる
場合、磁界が機体の他のコントロール・コンピュータな
どと磁気干渉（ＥＭＩ）を生じる恐れがあるため使用す
ることは困難である。また、光センサを用いるものも考
えられるが、光センサは周囲に大きな設置場所を必要と
し、コックピットなど大きな空間を確保できない場合は
使用困難である。そのため、頭部の動きを検出するセン
サとして３軸ジャイロセンサセンサが用いられる。
【０００５】３軸ジャイロセンサセンサは、頭の３方向
の動き、たとえば上下の首振り運動（ピッチング）、首
の左右の横振り運動（ヨーイング）、および首の傾け運
動（ローリング）の３方向の動きを検出し、これらに基
づいてパイロットの頭の向きを算出する。
の動き、たとえば上下の首振り運動（ピッチング）、首
の左右の横振り運動（ヨーイング）、および首の傾け運
動（ローリング）の３方向の動きを検出し、これらに基
づいてパイロットの頭の向きを算出する。
【０００６】
【発明が解決しようとする課題】３軸ジャイロセンサセ
ンサはパイロットのヘルメットに装備され、パイロット
の頭部の動きを検出するが、パイロットが乗っているヘ
リコプタ自体も運動しているため、センサは頭部の動き
だけでなくヘリコプタの動きも拾ってしまう。これによ
って、センサの検出精度が非常に悪くなってしまい、正
確にパイロットの頭の向きを算出することが困難となる
といった問題を有する。
ンサはパイロットのヘルメットに装備され、パイロット
の頭部の動きを検出するが、パイロットが乗っているヘ
リコプタ自体も運動しているため、センサは頭部の動き
だけでなくヘリコプタの動きも拾ってしまう。これによ
って、センサの検出精度が非常に悪くなってしまい、正
確にパイロットの頭の向きを算出することが困難となる
といった問題を有する。
【０００７】本発明の目的は、頭の動きを高精度に検出
することができるセンサを備えるヘッド・マウント・デ
ィスプレイ装置に関する。
することができるセンサを備えるヘッド・マウント・デ
ィスプレイ装置に関する。
【０００８】
【課題を解決するための手段】請求項１記載の本発明
は、移動体に搭乗する使用者の頭部に装着され、使用者
の目の前に配置される表示画面を有する表示手段と、使
用者の頭部に取付けられ、頭部の動きを検出する頭部セ
ンサと、頭部センサの検出出力に基づいて使用者の頭の
向きを算出し、この頭の向きに応じた表示画像を算出
し、前記表示画面に表示する制御手段とを備えるヘッド
・マウント・ディスプレイ装置において、移動体に取付
けられ、移動体の動きを検出する移動体センサを有し、
前記制御手段は、頭部センサの検出出力と移動体検出セ
ンサの検出出力との差分に基づいて頭の向きを算出する
ことを特徴とするヘッド・マウント・ディスプレイ装置
である。
は、移動体に搭乗する使用者の頭部に装着され、使用者
の目の前に配置される表示画面を有する表示手段と、使
用者の頭部に取付けられ、頭部の動きを検出する頭部セ
ンサと、頭部センサの検出出力に基づいて使用者の頭の
向きを算出し、この頭の向きに応じた表示画像を算出
し、前記表示画面に表示する制御手段とを備えるヘッド
・マウント・ディスプレイ装置において、移動体に取付
けられ、移動体の動きを検出する移動体センサを有し、
前記制御手段は、頭部センサの検出出力と移動体検出セ
ンサの検出出力との差分に基づいて頭の向きを算出する
ことを特徴とするヘッド・マウント・ディスプレイ装置
である。
【０００９】本発明のヘッド・マウント・ディスプレイ
装置には、頭部に装着され、頭部の動きを検出する頭部
センサとともに、移動体に取付けられ、移動体の動きを
検出する移動体センサを備える。この移動体センサで検
出した移動体の動きと、頭部センサで検出した頭部の動
きとの差分を取ることによって、移動体の動きをキャン
セルし、使用者の頭部の動きのみ、正確に検出すること
ができる。これによって、ヘッド・マウント・ディスプ
レイ装置を、航空機などの移動体内で使用する場合であ
っても、頭部の動きに基づいた正確な画像を表示するこ
とができる。
装置には、頭部に装着され、頭部の動きを検出する頭部
センサとともに、移動体に取付けられ、移動体の動きを
検出する移動体センサを備える。この移動体センサで検
出した移動体の動きと、頭部センサで検出した頭部の動
きとの差分を取ることによって、移動体の動きをキャン
セルし、使用者の頭部の動きのみ、正確に検出すること
ができる。これによって、ヘッド・マウント・ディスプ
レイ装置を、航空機などの移動体内で使用する場合であ
っても、頭部の動きに基づいた正確な画像を表示するこ
とができる。
【００１０】請求項２記載の本発明の前記制御手段は、
頭の向きの基準となる向きを記憶しておき、制御手段に
基準信号が入力されると、制御手段は、頭部センサおよ
び移動体センサに基づいて算出した頭の向きを、前記基
準となる向きに置き換えることを特徴とする。
頭の向きの基準となる向きを記憶しておき、制御手段に
基準信号が入力されると、制御手段は、頭部センサおよ
び移動体センサに基づいて算出した頭の向きを、前記基
準となる向きに置き換えることを特徴とする。
【００１１】３軸ジャイロセンサセンサによる位置検出
は、時間とともに誤差が増大し、ドリフトが生じると言
った問題を有する。センサにドリフトが生じると、表示
画像にずれが生じる。
は、時間とともに誤差が増大し、ドリフトが生じると言
った問題を有する。センサにドリフトが生じると、表示
画像にずれが生じる。
【００１２】本発明ではこの点に鑑み、たとえば使用者
が正面を向いたときの頭の向きを予め基準となる向きと
して設定しておき、使用者が正面を向いたとき、たとえ
ば押しボタンスイッチなどによって制御手段に基準信号
を入力する。すると制御手段は、センサに基づいて算出
した頭の現在の向きを基準となる正面の向きに置き換え
る。これによってドリフトが解消され、表示画像のずれ
を防ぐことができる。
が正面を向いたときの頭の向きを予め基準となる向きと
して設定しておき、使用者が正面を向いたとき、たとえ
ば押しボタンスイッチなどによって制御手段に基準信号
を入力する。すると制御手段は、センサに基づいて算出
した頭の現在の向きを基準となる正面の向きに置き換え
る。これによってドリフトが解消され、表示画像のずれ
を防ぐことができる。
【００１３】請求項３記載の本発明は、頭部が基準とな
る向きに位置したとき、基準信号を出力する基準検出セ
ンサを備え、制御手段は、基準検出センサからの基準信
号に応答して、算出した頭の向きを基準となる向きに置
き換えることを特徴とする。
る向きに位置したとき、基準信号を出力する基準検出セ
ンサを備え、制御手段は、基準検出センサからの基準信
号に応答して、算出した頭の向きを基準となる向きに置
き換えることを特徴とする。
【００１４】本発明に従えば、頭部が基準となる向きに
あることを検出する基準検出センサが設けられ、頭部が
基準となる向きに位置したとき、基準位置センサから制
御手段に基準信号が入力され、いわば自動的にドリフト
が解消され、表示画像のずれが補正される。このように
本発明では、使用者が正面を向く毎に自動的にドリフト
を解消し、表示ずれを防ぐことができる。
あることを検出する基準検出センサが設けられ、頭部が
基準となる向きに位置したとき、基準位置センサから制
御手段に基準信号が入力され、いわば自動的にドリフト
が解消され、表示画像のずれが補正される。このように
本発明では、使用者が正面を向く毎に自動的にドリフト
を解消し、表示ずれを防ぐことができる。
【００１５】
【発明の実施の形態】図１は、本発明に実施の一形態で
あるヘッド・マウント・ディスプレイ装置１の構成を示
すブロック図である。本実施形態のヘッド・マウント・
ディスプレイ装置１は、たとえばヘリコプタの操縦支援
装置として用いられ、ヘリコプタの機体にＣＣＤカメラ
を取付け、パイロット１０の向いた方向の画像を撮像画
像から切り出してパイロット１０に提供する。これによ
って、たとえばパイロットの下方など、計器盤などで死
角となる領域がなくなり、パイロットのワークロードが
軽減する。
あるヘッド・マウント・ディスプレイ装置１の構成を示
すブロック図である。本実施形態のヘッド・マウント・
ディスプレイ装置１は、たとえばヘリコプタの操縦支援
装置として用いられ、ヘリコプタの機体にＣＣＤカメラ
を取付け、パイロット１０の向いた方向の画像を撮像画
像から切り出してパイロット１０に提供する。これによ
って、たとえばパイロットの下方など、計器盤などで死
角となる領域がなくなり、パイロットのワークロードが
軽減する。
【００１６】ヘッド・マウント・ディスプレイ装置１
は、パイロット１０のヘルメット２に装備され、パイロ
ット１０の目の前に表示画面が配置される表示手段３
と、ヘルメット２に取付けられ、パイロット１０の頭部
の動きを検出する頭部側３軸ジャイロセンサ４と、ヘリ
コプタの機体に取付けられ、機体の動きを検出する機体
側３軸ジャイロセンサ５と、機体の外に取付けられ外部
を撮像するＣＣＤカメラ９と、ジャイロセンサ４，５お
よびＣＣＤカメラ９に基づいて、表示手段３に画像を表
示する制御手段６とを含んで構成される。制御手段６
は、ジャイロセンサ４，５に基づいて、パイロット１０
の頭の向きを算出する角度算出回路７と、ＣＣＤカメラ
９で撮像した画像および角度算出回路７で算出した頭の
向きに基づいて、パイロット１０の向いている方向の画
像を切り出して表示手段３の表示画面に表示する画像生
成回路８とを有する。
は、パイロット１０のヘルメット２に装備され、パイロ
ット１０の目の前に表示画面が配置される表示手段３
と、ヘルメット２に取付けられ、パイロット１０の頭部
の動きを検出する頭部側３軸ジャイロセンサ４と、ヘリ
コプタの機体に取付けられ、機体の動きを検出する機体
側３軸ジャイロセンサ５と、機体の外に取付けられ外部
を撮像するＣＣＤカメラ９と、ジャイロセンサ４，５お
よびＣＣＤカメラ９に基づいて、表示手段３に画像を表
示する制御手段６とを含んで構成される。制御手段６
は、ジャイロセンサ４，５に基づいて、パイロット１０
の頭の向きを算出する角度算出回路７と、ＣＣＤカメラ
９で撮像した画像および角度算出回路７で算出した頭の
向きに基づいて、パイロット１０の向いている方向の画
像を切り出して表示手段３の表示画面に表示する画像生
成回路８とを有する。
【００１７】表示手段３は、ＣＲＴ（Cathode Ray Tub
e）またはＬＣＤ（Liquid CrystalDisplay）を有し、表
示画面に制御手段６からの画像を表示する。また表示画
面は、ハーフミラーを用い、前方からの光が透過する透
過型、または透過しない遮蔽型のどちらであっても良
い。
e）またはＬＣＤ（Liquid CrystalDisplay）を有し、表
示画面に制御手段６からの画像を表示する。また表示画
面は、ハーフミラーを用い、前方からの光が透過する透
過型、または透過しない遮蔽型のどちらであっても良
い。
【００１８】頭部側３軸ジャイロセンサ４は、パイロッ
ト１０のヘルメット２に取付けられ、頭の動きを検出す
る。頭の動きは、本実施形態では頭の前後の上下運動、
左右の首振り運動、および頭を傾ける運動の３つに分け
て検出する。ここで、頭の運動の中心となる首の頚椎近
傍を原点とし、パイロット１０の前後方向をｘ軸とし、
横方向をｙ軸とし、略鉛直方向をｚ軸とした場合、頭の
前後の上下運動は、ｙ軸まわりのピッチング角運動とな
り、左右の首振り運動は、ｚ軸まわりのヨーイング角運
動となり、傾け運動は、ｘ軸まわりのローリング角運動
となる。
ト１０のヘルメット２に取付けられ、頭の動きを検出す
る。頭の動きは、本実施形態では頭の前後の上下運動、
左右の首振り運動、および頭を傾ける運動の３つに分け
て検出する。ここで、頭の運動の中心となる首の頚椎近
傍を原点とし、パイロット１０の前後方向をｘ軸とし、
横方向をｙ軸とし、略鉛直方向をｚ軸とした場合、頭の
前後の上下運動は、ｙ軸まわりのピッチング角運動とな
り、左右の首振り運動は、ｚ軸まわりのヨーイング角運
動となり、傾け運動は、ｘ軸まわりのローリング角運動
となる。
【００１９】３軸ジャイロセンサは、取付けられる物の
動きに応じてピッチング角速度θ’，ヨーイング角速度
φ’，およびローリング角速度ψ’を所定の周波数でサ
ンプリングし、電圧として出力する。
動きに応じてピッチング角速度θ’，ヨーイング角速度
φ’，およびローリング角速度ψ’を所定の周波数でサ
ンプリングし、電圧として出力する。
【００２０】したがって、頭部側３軸ジャイロセンサ４
を、前述したように、頭のピッチング角θ1、ヨーイン
グ角φ1、ローリング角ψ1方向の３方向の運動を検出で
きるように、ヘルメット２に取付けることによって、頭
の動きを、ピッチング角速度θ1’、ヨーイング角速度
φ1’、ローリング角速度ψ1’として出力することがで
きる。
を、前述したように、頭のピッチング角θ1、ヨーイン
グ角φ1、ローリング角ψ1方向の３方向の運動を検出で
きるように、ヘルメット２に取付けることによって、頭
の動きを、ピッチング角速度θ1’、ヨーイング角速度
φ1’、ローリング角速度ψ1’として出力することがで
きる。
【００２１】制御手段６の角度算出回路７には、予め基
準となる向きとして、パイロット１０が正面を向いたと
きの向きを記憶しており、このときのピッチング角θ
1、ヨーイング角φ1、ローリング角ψ1はそれぞれ、θ1
＝０°，φ1＝０°，ψ1＝０°となる。したがって、頭
部側３軸ジャイロセンサ４が検出したピッチング角速度
θ1’、ヨーイング角速度φ1’、ローリング角速度ψ
1’をそれぞれ積分することによって、頭の向きを、ピ
ッチング角θ1、ヨーイング角φ1、ローリング角ψ1の
正面からの３つの角度として算出することができる。
準となる向きとして、パイロット１０が正面を向いたと
きの向きを記憶しており、このときのピッチング角θ
1、ヨーイング角φ1、ローリング角ψ1はそれぞれ、θ1
＝０°，φ1＝０°，ψ1＝０°となる。したがって、頭
部側３軸ジャイロセンサ４が検出したピッチング角速度
θ1’、ヨーイング角速度φ1’、ローリング角速度ψ
1’をそれぞれ積分することによって、頭の向きを、ピ
ッチング角θ1、ヨーイング角φ1、ローリング角ψ1の
正面からの３つの角度として算出することができる。
【００２２】図２は、３軸ジャイロセンサ４，５および
角度算出回路７のブロック図である。
角度算出回路７のブロック図である。
【００２３】パイロット１０はヘリコプタに乗ってお
り、ヘリコプタの機体自体も動いているので、パイロッ
ト１０の頭部に取付けた頭部側３軸ジャイロセンサ４
は、パイロット１０の頭の動きだけでなく、機体の動き
も検出してしまう。この点を鑑み、本発明では、頭部側
３軸ジャイロセンサと同じ３軸ジャイロセンサである機
体側３軸ジャイロセンサ５を機体に取付け、角度検出回
路７は、機体側３軸ジャイロセンサ５の検出出力と、頭
部側３軸ジャイロセンサ４の検出出力との差分をとり、
これに基づいて頭の向きを算出する。
り、ヘリコプタの機体自体も動いているので、パイロッ
ト１０の頭部に取付けた頭部側３軸ジャイロセンサ４
は、パイロット１０の頭の動きだけでなく、機体の動き
も検出してしまう。この点を鑑み、本発明では、頭部側
３軸ジャイロセンサと同じ３軸ジャイロセンサである機
体側３軸ジャイロセンサ５を機体に取付け、角度検出回
路７は、機体側３軸ジャイロセンサ５の検出出力と、頭
部側３軸ジャイロセンサ４の検出出力との差分をとり、
これに基づいて頭の向きを算出する。
【００２４】機体側３軸ジャイロセンサ５はパイロット
の座席の下で、パイロット１０が正面を向いたときの頭
部側３軸ジャイロセンサ４と同じ角度位置となるように
機体に固定される。これによって、頭部側３軸ジャイロ
センサ５が拾う機体の動きと同じ値を、機体側３軸ジャ
イロセンサ４によって検出することができる。
の座席の下で、パイロット１０が正面を向いたときの頭
部側３軸ジャイロセンサ４と同じ角度位置となるように
機体に固定される。これによって、頭部側３軸ジャイロ
センサ５が拾う機体の動きと同じ値を、機体側３軸ジャ
イロセンサ４によって検出することができる。
【００２５】図２に示すように、角度算出回路７は、減
算回路１５、Ａ/Ｄ変換回路１６および積分回路１７を
有し、頭部側３軸ジャイロセンサ４で検出したピッチン
グ角速度θ1’、ヨーイング角速度φ1’、ローリング角
速度ψ1’の３つの検出出力を減算回路１５に入力する
とともに、機体側３軸ジャイロセンサ５で検出したピッ
チング角速度θ2’、ヨーイング角速度φ2’、ローリン
グ角速度ψ2’の３つの検出出力を減算回路１５に入力
し、ここでこれらを引算して、ピッチング角速度の差分
Δθ’、ヨーイング角速度の差分Δφ’，ローリング角
速度の差分Δψ’を算出する。このように差分を取るこ
とによって機体の運動成分が除去され、パイロット１０
の頭の動きのみ得られる。
算回路１５、Ａ/Ｄ変換回路１６および積分回路１７を
有し、頭部側３軸ジャイロセンサ４で検出したピッチン
グ角速度θ1’、ヨーイング角速度φ1’、ローリング角
速度ψ1’の３つの検出出力を減算回路１５に入力する
とともに、機体側３軸ジャイロセンサ５で検出したピッ
チング角速度θ2’、ヨーイング角速度φ2’、ローリン
グ角速度ψ2’の３つの検出出力を減算回路１５に入力
し、ここでこれらを引算して、ピッチング角速度の差分
Δθ’、ヨーイング角速度の差分Δφ’，ローリング角
速度の差分Δψ’を算出する。このように差分を取るこ
とによって機体の運動成分が除去され、パイロット１０
の頭の動きのみ得られる。
【００２６】次に、得られた値をＡ/Ｄ変換回路１６で
Ａ/Ｄ変換し、さらに積分回路１７で積分してピッチン
グ角θ、ヨーイング角φ、ローリング角ψの３つの角度
が得られる。これが、機体の動きを除去したパイロット
１０の向いている正確な方向となる。
Ａ/Ｄ変換し、さらに積分回路１７で積分してピッチン
グ角θ、ヨーイング角φ、ローリング角ψの３つの角度
が得られる。これが、機体の動きを除去したパイロット
１０の向いている正確な方向となる。
【００２７】ＣＣＤカメラ９の撮像範囲は、パイロット
１０の視界より広く、画像生成回路８はパイロット１０
の向き、すなわち、角度算出回路７で算出したピッチン
グ角θ、ヨーイング角φ、ローリング角ψの位置を中心
とし、パイロット１０の視野角に対応する範囲を切り出
して表示画像とし、表示手段３の表示画面に表示する。
このようなパイロット１０の向きに応じた画像が、順次
撮像画像から切り出されて表示されることによって、パ
イロット１０は、頭を向けた方向の画像を見ることがで
きる。
１０の視界より広く、画像生成回路８はパイロット１０
の向き、すなわち、角度算出回路７で算出したピッチン
グ角θ、ヨーイング角φ、ローリング角ψの位置を中心
とし、パイロット１０の視野角に対応する範囲を切り出
して表示画像とし、表示手段３の表示画面に表示する。
このようなパイロット１０の向きに応じた画像が、順次
撮像画像から切り出されて表示されることによって、パ
イロット１０は、頭を向けた方向の画像を見ることがで
きる。
【００２８】３軸ジャイロセンサ４にはドリフトが生じ
るため、時間の経過にともなって角度算出手段７が算出
するパイロット１０の向きと実際のパイロット１０の向
きとにずれが生じ、表示画像がずれてしまう。このよう
な問題を防ぐために本実施形態では、パイロット１０が
正面を向いたときに、角度算出回路７で算出した角度を
補正する機構が設けられる。
るため、時間の経過にともなって角度算出手段７が算出
するパイロット１０の向きと実際のパイロット１０の向
きとにずれが生じ、表示画像がずれてしまう。このよう
な問題を防ぐために本実施形態では、パイロット１０が
正面を向いたときに、角度算出回路７で算出した角度を
補正する機構が設けられる。
【００２９】図１に示すように、パイロット１０の正面
の計器盤に発光素子１１が取付けられ、パイロット１０
のヘルメット２には、発光素子１１からの光を受光する
受光素子１２が取付けられる。この受光素子１２は、パ
イロット１０が正面を向いたときに、このことを検出
し、正面信号を角度算出回路７に入力する。角度算出回
路７は、受光素子１２からの正面信号に応答し、算出し
たピッチング角θ、ヨーイング角φ、ローリング角ψ
を、ピッチング角θ＝０°、ヨーイング角φ＝０°、ロ
ーリング角ψ＝０°とする。このようにして、パイロッ
ト１０が正面を向く毎に、いわばドリフトが自動的に解
消され、表示画像のずれを防ぐことができる。
の計器盤に発光素子１１が取付けられ、パイロット１０
のヘルメット２には、発光素子１１からの光を受光する
受光素子１２が取付けられる。この受光素子１２は、パ
イロット１０が正面を向いたときに、このことを検出
し、正面信号を角度算出回路７に入力する。角度算出回
路７は、受光素子１２からの正面信号に応答し、算出し
たピッチング角θ、ヨーイング角φ、ローリング角ψ
を、ピッチング角θ＝０°、ヨーイング角φ＝０°、ロ
ーリング角ψ＝０°とする。このようにして、パイロッ
ト１０が正面を向く毎に、いわばドリフトが自動的に解
消され、表示画像のずれを防ぐことができる。
【００３０】また、このような補正機構は、発光素子１
１と受光素子１２とによって、パイロット１０の頭の向
きを検出して行う方法に限らず、たとえば、計器盤にス
イッチを設け、パイロット１０が自分で正面だと思う方
向を向き、その位置でスイッチを押し、角度算出手段７
に正面信号を入力するように構成してもよい。これによ
ってパイロット１０が正面と判断した位置が正面位置に
リセットされ、ドリフトが解消される。このような操作
は、たとえば１回のフライトで１〜２回程度行う。
１と受光素子１２とによって、パイロット１０の頭の向
きを検出して行う方法に限らず、たとえば、計器盤にス
イッチを設け、パイロット１０が自分で正面だと思う方
向を向き、その位置でスイッチを押し、角度算出手段７
に正面信号を入力するように構成してもよい。これによ
ってパイロット１０が正面と判断した位置が正面位置に
リセットされ、ドリフトが解消される。このような操作
は、たとえば１回のフライトで１〜２回程度行う。
【００３１】また、前記スイッチは、ドリフトに解消に
のみ利用するのでなく、たとえばパイロット１０が任意
の方向を向き、そこでスイッチを押して角度検出回路７
に正面信号を入力しても良い。これによって、現在向い
ている方向が正面となるようにリセットされる。このよ
うに、正面位置の変更に利用しても良い。
のみ利用するのでなく、たとえばパイロット１０が任意
の方向を向き、そこでスイッチを押して角度検出回路７
に正面信号を入力しても良い。これによって、現在向い
ている方向が正面となるようにリセットされる。このよ
うに、正面位置の変更に利用しても良い。
【００３２】図３は、表示手段３の表示画面に表示され
る飛行情報を示す図である。画像生成回路８には機体に
取付けられる気圧高度計、対地速度計および機体の姿勢
を測定するジャイロセンサなどから飛行情報が入力され
る。またさらに、ＧＰＳ（Global Positioning Syste
m）またはＭＴＳＡＴ（Multi-functionalTransport Sat
ellite）などの航法支援システムからの飛行情報が画像
生成回路８に入力される。これらの飛行情報は数字また
は記号として、表示画像に重畳されて表示される。
る飛行情報を示す図である。画像生成回路８には機体に
取付けられる気圧高度計、対地速度計および機体の姿勢
を測定するジャイロセンサなどから飛行情報が入力され
る。またさらに、ＧＰＳ（Global Positioning Syste
m）またはＭＴＳＡＴ（Multi-functionalTransport Sat
ellite）などの航法支援システムからの飛行情報が画像
生成回路８に入力される。これらの飛行情報は数字また
は記号として、表示画像に重畳されて表示される。
【００３３】図３において、参照符２０は機首方位を示
し、参照符２１はエンジントルクを示し、参照符２２は
ノーズ・アップの場合のピッチ・ラダーを示し、参照符
２３はノーズ・ダウンの場合のピッチ・ラダーを示す。
また参照符２４は対気速度を示し、参照符２５は対地速
度を示す。また、参照符２６はマスターウォーニング／
コーションを示し、参照符２７，２８はそれぞれ気圧高
度および対地高度を示し、単位はフィートである。ま
た、参照符２９は機体姿勢を示す基準シンボルであり、
参照符３０はスリップボールである。
し、参照符２１はエンジントルクを示し、参照符２２は
ノーズ・アップの場合のピッチ・ラダーを示し、参照符
２３はノーズ・ダウンの場合のピッチ・ラダーを示す。
また参照符２４は対気速度を示し、参照符２５は対地速
度を示す。また、参照符２６はマスターウォーニング／
コーションを示し、参照符２７，２８はそれぞれ気圧高
度および対地高度を示し、単位はフィートである。ま
た、参照符２９は機体姿勢を示す基準シンボルであり、
参照符３０はスリップボールである。
【００３４】このような飛行情報が画像生成回路８で表
示画像と合成されて表示手段の表示画面に表示される。
示画像と合成されて表示手段の表示画面に表示される。
【００３５】また、前述した受光素子１２は、発光素子
１１からの光を受光して発光素子１１と受光素子１０と
の間の距離、すなわち計器盤との間の距離を測定し、画
像生成回路８に入力する。画像生成回路８は、この計器
盤までの距離に応じて図３に示す飛行情報を拡大／縮小
する。すなわち、パイロット１０の頭部が計器盤に近づ
き、計器盤までの距離が小さくなると、飛行情報を拡大
表示し、パイロット１０の頭部が計器盤から離れ、計器
盤までの距離が大きくなると飛行情報を縮小表示する。
これによって、パイロット１０は飛行情報の拡大／縮小
操作を手を使わずに行うことができる。
１１からの光を受光して発光素子１１と受光素子１０と
の間の距離、すなわち計器盤との間の距離を測定し、画
像生成回路８に入力する。画像生成回路８は、この計器
盤までの距離に応じて図３に示す飛行情報を拡大／縮小
する。すなわち、パイロット１０の頭部が計器盤に近づ
き、計器盤までの距離が小さくなると、飛行情報を拡大
表示し、パイロット１０の頭部が計器盤から離れ、計器
盤までの距離が大きくなると飛行情報を縮小表示する。
これによって、パイロット１０は飛行情報の拡大／縮小
操作を手を使わずに行うことができる。
【００３６】上述した実施形態では、ヘッド・マウント
・ディスプレイ装置をヘリコプタのパイロットの操縦支
援装置として用いたが、本発明はこのような航空機への
適用に限らず、船舶、自動車など、移動体内で使用する
場合に適用可能ある。
・ディスプレイ装置をヘリコプタのパイロットの操縦支
援装置として用いたが、本発明はこのような航空機への
適用に限らず、船舶、自動車など、移動体内で使用する
場合に適用可能ある。
【００３７】また、外部をＣＣＤカメラなどで撮像し、
その撮像画像を表示する場合に限らず、画像生成装置内
で、たとえばコンピュータ・グラフィックで画像を生成
し、算出した頭の向きの応じてコンピュータ・グラフィ
ックの画像を表示するように構成し、たとえばインフラ
イト・シミュレータ装置に適用してもよく、また、悪天
候下での操縦における擬似視界飛行システムなどにも適
用可能である。
その撮像画像を表示する場合に限らず、画像生成装置内
で、たとえばコンピュータ・グラフィックで画像を生成
し、算出した頭の向きの応じてコンピュータ・グラフィ
ックの画像を表示するように構成し、たとえばインフラ
イト・シミュレータ装置に適用してもよく、また、悪天
候下での操縦における擬似視界飛行システムなどにも適
用可能である。
【００３８】
【発明の効果】以上のように本発明によれば、移動体の
動きと、頭部の動きとの差分を取ることによって、移動
体の動きをキャンセルし、使用者の頭部の動きのみ、正
確に検出することができる。これによって、ヘッド・マ
ウント・ディスプレイ装置を、航空機などの移動体内で
使用する場合であっても、頭部の動きに基づいた正確な
画像を表示することができる。
動きと、頭部の動きとの差分を取ることによって、移動
体の動きをキャンセルし、使用者の頭部の動きのみ、正
確に検出することができる。これによって、ヘッド・マ
ウント・ディスプレイ装置を、航空機などの移動体内で
使用する場合であっても、頭部の動きに基づいた正確な
画像を表示することができる。
【００３９】また本発明によれば、使用者がたとえば基
準となる正面を向いたとき、制御手段に基準信号を入力
することによって、算出した頭の向きが正面の向きに置
き換わる。これによってドリフトが解消され、表示画像
のずれを防ぐことができる。
準となる正面を向いたとき、制御手段に基準信号を入力
することによって、算出した頭の向きが正面の向きに置
き換わる。これによってドリフトが解消され、表示画像
のずれを防ぐことができる。
【００４０】また本発明によれば、使用者が正面を向い
たとき、基準検出センサが制御手段に基準信号を入力す
ることによって、いわば自動的にドリフトが解消され、
表示画像のずれが補正される。このように使用者が正面
を向く毎に自動的にドリフトを解消し、表示ずれを確実
に防ぐことができる。
たとき、基準検出センサが制御手段に基準信号を入力す
ることによって、いわば自動的にドリフトが解消され、
表示画像のずれが補正される。このように使用者が正面
を向く毎に自動的にドリフトを解消し、表示ずれを確実
に防ぐことができる。
【図１】本発明の実施の一形態であるヘッド・マウント
・ディスプレイ装置１の構成を示すブロック図である。
・ディスプレイ装置１の構成を示すブロック図である。
【図２】３軸ジャイロセンサ４，５および角度検出回路
７の構成を示すブロック図である。
７の構成を示すブロック図である。
【図３】飛行情報を示す図である。
１ ヘッド・マウント・ディスプレイ装置 ２ ヘルメット ３ 表示手段 ４ 頭部側３軸ジャイロセンサ ５ 機体側３軸ジャイロセンサ ６ 制御手段 ７ 角度算出回路 ８ 画像生成回路 １０ パイロット １１ 発光素子 １２ 受光素子
Claims (3)
- 【請求項１】 移動体に搭乗する使用者の頭部に装着さ
れ、使用者の目の前に配置される表示画面を有する表示
手段と、 使用者の頭部に取付けられ、頭部の動きを検出する頭部
センサと、 頭部センサの検出出力に基づいて使用者の頭の向きを算
出し、この頭の向きに応じた表示画像を算出し、前記表
示画面に表示する制御手段とを備えるヘッド・マウント
・ディスプレイ装置において、 移動体に取付けられ、移動体の動きを検出する移動体セ
ンサを有し、 前記制御手段は、頭部センサの検出出力と移動体検出セ
ンサの検出出力との差分に基づいて頭の向きを算出する
ことを特徴とするヘッド・マウント・ディスプレイ装
置。 - 【請求項２】 前記制御手段は、頭の向きの基準となる
向きを記憶しておき、制御手段に基準信号が入力される
と、制御手段は、頭部センサおよび移動体センサに基づ
いて算出した頭の向きを、前記基準となる向きに置き換
えることを特徴とする請求項１記載のヘッド・マウント
・ディスプレイ装置。 - 【請求項３】 頭部が基準となる向きに位置したとき、
基準信号を出力する基準検出センサを備え、制御手段
は、基準検出センサからの基準信号に応答して、算出し
た頭の向きを基準となる向きに置き換えることを特徴と
する請求項１または２記載のヘッド・マウント・ディス
プレイ装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28017899A JP3403361B2 (ja) | 1999-09-30 | 1999-09-30 | ヘッド・マウント・ディスプレイ装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28017899A JP3403361B2 (ja) | 1999-09-30 | 1999-09-30 | ヘッド・マウント・ディスプレイ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001103395A true JP2001103395A (ja) | 2001-04-13 |
| JP3403361B2 JP3403361B2 (ja) | 2003-05-06 |
Family
ID=17621393
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP28017899A Expired - Fee Related JP3403361B2 (ja) | 1999-09-30 | 1999-09-30 | ヘッド・マウント・ディスプレイ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3403361B2 (ja) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1280457A4 (en) * | 2000-04-21 | 2004-06-23 | Intersense Inc | MOVEMENT DETERMINATION |
| WO2004061519A1 (ja) * | 2002-12-24 | 2004-07-22 | Nikon Corporation | ヘッドマウントディスプレイ |
| US7000469B2 (en) | 2000-04-21 | 2006-02-21 | Intersense, Inc. | Motion-tracking |
| JP2007315775A (ja) * | 2006-05-23 | 2007-12-06 | Shimadzu Corp | ヘッドモーショントラッカ装置及びその使用方法 |
| WO2007065734A3 (en) * | 2005-12-09 | 2007-12-21 | Sony Ericsson Mobile Comm Ab | Acceleration reference devices, cellular communication terminal systems, and methods that sense terminal movement for cursor control |
| JP2008026265A (ja) * | 2006-07-25 | 2008-02-07 | Shimadzu Corp | ヘッドモーショントラッカ装置 |
| JP2008058102A (ja) * | 2006-08-30 | 2008-03-13 | Shimadzu Corp | ヘッドモーショントラッカ装置 |
| JP2008059204A (ja) * | 2006-08-30 | 2008-03-13 | Shimadzu Corp | ヘッドモーショントラッカ装置 |
| JP2009085805A (ja) * | 2007-10-01 | 2009-04-23 | Shimadzu Corp | モーショントラッカ装置 |
| CN101506868A (zh) * | 2006-09-08 | 2009-08-12 | 索尼株式会社 | 显示设备和显示方法 |
| KR100929569B1 (ko) | 2008-08-28 | 2009-12-03 | 전자부품연구원 | 장애물 정보 제공 시스템 |
| US7643850B2 (en) | 2005-10-11 | 2010-01-05 | Sony Ericsson Mobile Communications Ab | Cellular communication terminals and methods that sense terminal movement for cursor control |
| JP2012088622A (ja) * | 2010-10-21 | 2012-05-10 | Fujitsu Ltd | 映像表示装置、映像表示方法、及びプログラム |
| JP2012252568A (ja) * | 2011-06-03 | 2012-12-20 | Olympus Corp | 入力システム、頭部装着型表示装置、情報端末装置及びプログラム |
| JP2013083731A (ja) * | 2011-10-06 | 2013-05-09 | Murata Mach Ltd | 画像表示システム |
| JP2015204616A (ja) * | 2014-04-14 | 2015-11-16 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | ヘッドマウントディスプレイの提示の調整 |
| JP2015208031A (ja) * | 2015-06-24 | 2015-11-19 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| KR20160072477A (ko) * | 2014-12-15 | 2016-06-23 | 전자부품연구원 | 주변 환경 모델링 방법 및 이를 수행하는 장치 |
| WO2016190057A1 (ja) * | 2015-05-22 | 2016-12-01 | コニカミノルタ株式会社 | ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 |
| JP2019082879A (ja) * | 2017-10-31 | 2019-05-30 | 株式会社ソニー・インタラクティブエンタテインメント | 姿勢制御システム |
| JP2020123260A (ja) * | 2019-01-31 | 2020-08-13 | 株式会社日立製作所 | 頭部装着型表示装置および仮想空間表示制御方法 |
| EP3416159B1 (en) * | 2016-02-12 | 2020-08-26 | Honda Motor Co., Ltd. | Image display device and image display method |
-
1999
- 1999-09-30 JP JP28017899A patent/JP3403361B2/ja not_active Expired - Fee Related
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7000469B2 (en) | 2000-04-21 | 2006-02-21 | Intersense, Inc. | Motion-tracking |
| EP1280457A4 (en) * | 2000-04-21 | 2004-06-23 | Intersense Inc | MOVEMENT DETERMINATION |
| WO2004061519A1 (ja) * | 2002-12-24 | 2004-07-22 | Nikon Corporation | ヘッドマウントディスプレイ |
| US7643850B2 (en) | 2005-10-11 | 2010-01-05 | Sony Ericsson Mobile Communications Ab | Cellular communication terminals and methods that sense terminal movement for cursor control |
| US7616186B2 (en) | 2005-12-09 | 2009-11-10 | Sony Ericsson Mobile Communications Ab | Acceleration reference devices, cellular communication terminal systems, and methods that sense terminal movement for cursor control |
| WO2007065734A3 (en) * | 2005-12-09 | 2007-12-21 | Sony Ericsson Mobile Comm Ab | Acceleration reference devices, cellular communication terminal systems, and methods that sense terminal movement for cursor control |
| JP2007315775A (ja) * | 2006-05-23 | 2007-12-06 | Shimadzu Corp | ヘッドモーショントラッカ装置及びその使用方法 |
| JP2008026265A (ja) * | 2006-07-25 | 2008-02-07 | Shimadzu Corp | ヘッドモーショントラッカ装置 |
| JP2008058102A (ja) * | 2006-08-30 | 2008-03-13 | Shimadzu Corp | ヘッドモーショントラッカ装置 |
| JP2008059204A (ja) * | 2006-08-30 | 2008-03-13 | Shimadzu Corp | ヘッドモーショントラッカ装置 |
| CN101506868A (zh) * | 2006-09-08 | 2009-08-12 | 索尼株式会社 | 显示设备和显示方法 |
| JP2009085805A (ja) * | 2007-10-01 | 2009-04-23 | Shimadzu Corp | モーショントラッカ装置 |
| KR100929569B1 (ko) | 2008-08-28 | 2009-12-03 | 전자부품연구원 | 장애물 정보 제공 시스템 |
| JP2012088622A (ja) * | 2010-10-21 | 2012-05-10 | Fujitsu Ltd | 映像表示装置、映像表示方法、及びプログラム |
| JP2012252568A (ja) * | 2011-06-03 | 2012-12-20 | Olympus Corp | 入力システム、頭部装着型表示装置、情報端末装置及びプログラム |
| JP2013083731A (ja) * | 2011-10-06 | 2013-05-09 | Murata Mach Ltd | 画像表示システム |
| JP2015204616A (ja) * | 2014-04-14 | 2015-11-16 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | ヘッドマウントディスプレイの提示の調整 |
| KR20160072477A (ko) * | 2014-12-15 | 2016-06-23 | 전자부품연구원 | 주변 환경 모델링 방법 및 이를 수행하는 장치 |
| KR101668649B1 (ko) * | 2014-12-15 | 2016-10-24 | 전자부품연구원 | 주변 환경 모델링 방법 및 이를 수행하는 장치 |
| WO2016190057A1 (ja) * | 2015-05-22 | 2016-12-01 | コニカミノルタ株式会社 | ウェアラブル電子機器およびウェアラブル電子機器のジェスチャー検知方法 |
| JP2015208031A (ja) * | 2015-06-24 | 2015-11-19 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
| EP3416159B1 (en) * | 2016-02-12 | 2020-08-26 | Honda Motor Co., Ltd. | Image display device and image display method |
| JP2019082879A (ja) * | 2017-10-31 | 2019-05-30 | 株式会社ソニー・インタラクティブエンタテインメント | 姿勢制御システム |
| JP2020123260A (ja) * | 2019-01-31 | 2020-08-13 | 株式会社日立製作所 | 頭部装着型表示装置および仮想空間表示制御方法 |
| JP7048520B2 (ja) | 2019-01-31 | 2022-04-05 | 株式会社日立製作所 | 頭部装着型表示装置および仮想空間表示制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3403361B2 (ja) | 2003-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3403361B2 (ja) | ヘッド・マウント・ディスプレイ装置 | |
| EP3441720B1 (en) | System and method for hybrid optical/inertial headtracking via numerically stable kalman filter | |
| US6956503B2 (en) | Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method | |
| US10775634B2 (en) | Method for calculating the movement data of the head of a driver of a transportation vehicle, data glasses and transportation vehicle for use in the method, and computer program | |
| US8581935B2 (en) | Orientation-following display apparatus, orientation-following display method, and orientation-following display program | |
| JP2019526101A (ja) | シーンにおけるカメラの姿勢を特定するシステム及び方法 | |
| WO2004113836A1 (ja) | 撮影映像表示方法 | |
| JP2019528501A (ja) | マルチカメラシステムにおけるカメラ位置合わせ | |
| US10891791B2 (en) | Detection and visualization of system uncertainty in the representation of augmented image content in heads-up displays | |
| US20210229810A1 (en) | Information processing device, flight control method, and flight control system | |
| US20210366294A1 (en) | Electronic exocentric symbol display device and associated display method and computer program product | |
| US12223861B2 (en) | Gradient change detection system, display system using same, and storage medium that stores program for moving body | |
| WO2019168156A1 (ja) | 表示システム | |
| JP2019148491A (ja) | 乗員監視装置 | |
| EP3805708A1 (en) | Position adjusting device, and projection system provided with same | |
| JP7411915B2 (ja) | 表示システム、表示装置、及び表示制御方法 | |
| EP3848781A1 (en) | Circuit device, electronic apparatus, and mobile body | |
| CN109949655B (zh) | 用于头戴式显示系统的双重协调方法和系统 | |
| WO2020241134A1 (ja) | 表示システム | |
| JP2001039398A (ja) | ヘリコプタの操縦支援装置 | |
| CN116802595A (zh) | 用于数据眼镜中的姿态确定的方法和装置 | |
| JP2006131153A (ja) | 車載用ディスプレイの画面角度制御装置 | |
| CN107490866A (zh) | 一种飞行员可穿戴显示系统及其定位头部姿态的方法 | |
| JPH1114354A (ja) | 撮影装置 | |
| JP2013205419A (ja) | 携帯型撮影装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090228 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100228 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110228 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120229 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130228 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140228 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |