JP3048825B2 - 機器制御装置および室内機器の制御システム - Google Patents
機器制御装置および室内機器の制御システムInfo
- Publication number
- JP3048825B2 JP3048825B2 JP6056992A JP5699294A JP3048825B2 JP 3048825 B2 JP3048825 B2 JP 3048825B2 JP 6056992 A JP6056992 A JP 6056992A JP 5699294 A JP5699294 A JP 5699294A JP 3048825 B2 JP3048825 B2 JP 3048825B2
- Authority
- JP
- Japan
- Prior art keywords
- indoor
- control
- information
- image
- room
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000001514 detection method Methods 0.000 claims description 31
- 230000007613 environmental effect Effects 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 description 26
- 230000000694 effects Effects 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000010438 heat treatment Methods 0.000 description 16
- 241000282414 Homo sapiens Species 0.000 description 15
- 238000000034 method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 12
- 230000005856 abnormality Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- WABPQHHGFIMREM-UHFFFAOYSA-N lead(0) Chemical compound [Pb] WABPQHHGFIMREM-UHFFFAOYSA-N 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 239000010409 thin film Substances 0.000 description 2
- 206010000369 Accident Diseases 0.000 description 1
- 206010011469 Crying Diseases 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000000474 nursing effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005057 refrigeration Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Optical Communication System (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Selective Calling Equipment (AREA)
- Burglar Alarm Systems (AREA)
Description
れ、室内の様子を俯瞰的にモニターし、その情報に基づ
いて室内機器に制御信号を送信する機器制御装置および
これによって室内機器の駆動制御を行う制御システムに
関する。
は、温度、湿度、空気清浄度、明るさなどがあり、これ
らを検知するセンサにより空気調和機等が制御されてき
た。しかし最近では、室内の人の有無、人数、位置、活
動量も検知することにより、上記制御内容を補正し、快
適性、省エネ性を高めることが行われてきている。
和・冷凍連合講演会(東京)講演論文集(′93−4−
26,27)に記載された「赤外線画像センサによるエ
アコンの快適制御」がある。これは赤外線画像センサを
用いて人間や環境の状態を直接検出し、人の快適度を算
出し、エアコンを最適に制御する方法である。
電効果による表面電荷の変化を電気信号として検出する
ことにより、非接触で物体の温度を検出するもので、焦
電薄膜の出力を連続して得るために、機械的なチョッパ
を用いて赤外線を断続入射させ、焦電薄膜に熱変化を与
えるようになっている。図23に赤外線画像センサの構
造を、図24に垂直配光図を示す。図23中、101は
広角赤外線レンズ、102は焦電薄膜素子、103はチ
ョッパ、104は水平回転軸である。図24に示すよう
にセンサ素子を垂直方向に一次元に8個配列し、これを
チョッパ駆動させながら、かつ水平方向に回転走査させ
ることにより、二次元的に赤外線画像データを検出でき
るようになっている。赤外線画像処理部では、得られた
赤外線画像データを画像処理することにより、人の位
置、人の動き、人数等の人体情報と、部屋の構造、床や
壁の位置、床や壁の温度等の室内情報を算出し、エアコ
ン本体の他のセンサ(温湿度、風量等)から検出した本
体情報と共にエアコン制御部により快適度制御を行う。
る制御が有効なものとして、照明機器の人感制御やセキ
ュリティシステムの防犯検知、在宅検知等が行われてい
る。また室内の人の検知ではないが物(障害物)の検知
を必要とするものとしては、自動走行掃除機が提案され
ている。このように、室内の人や物を検知して何らかの
制御を行わしめることが有効な機器やシステムはいくつ
かあるが、これらの検知に用いられるセンサはそれぞれ
の機器やシステムに付属しており、別の機器やシステム
とは関連がない。
の機器やシステムに取り付けられており、その機器のみ
が制御の対象になるので、かなりきめの細かい制御を行
うことができるが、センサを付加することによって機器
としての割高感は否めないという問題がある。また、機
器自体(機器に付属するセンサも含む)が、室内の環境
を全体的に効率よく感知できる場所に設置されるとは限
らない。しかも、上記センサでは、室内の人のきめ細か
い状態の検知には不十分であるし、動かない物の検知は
できないので、室内の状況に最適な制御が行われていな
いという問題もある。
様な情報を把握して室内機器に対して最適な指令を行う
ことができる機器制御装置を提供するとともに、この機
器制御装置からの指令に基づいて室内機器を運転する制
御システムを提供することを目的とする。
段は、室内に配置された室内機器に対して室内状況に応
じて最適な指令を行う機器制御装置に、室内状況を監視
する画像検出手段と、該画像検出手段からの画像情報の
中から室内機器に必要なデータを選別加工して複数の室
内機器のアルゴリズムに基づいてそれぞれの室内機器を
駆動するのに適した制御信号を発生させる制御手段と、
前記制御信号を無線により前記室内機器に送信する送信
手段と、各手段を一体的に内蔵したハウジングとを設
け、ハウジングを室内の壁面に取り付けるか、あるいは
電源を供給する電源部をハウジングにさらに一体的に設
けて、電源部を介して壁面に取り付けるようにしてい
る。
カメラ部の画像信号から室内情報を算出する画像センシ
ング部とからなり、室内全体を見渡せるように、カメラ
部を複数個設けたり、カメラ部を回転または直線往復運
動させる。また、送信手段は複数の赤外発光ダイオード
からなり、各発光ダイオードは、発光ビーム方向がそれ
ぞれ異なるように配置する。制御手段は、消去書き込み
可能な記憶素子を内蔵している。
信手段と、室内の状況を検出する状況検出手段とを設
け、状況検出手段からの室内情報および画像検出手段か
らの室内情報を分析して複数の室内機器への制御信号を
発生させる。また、室内情報から室内機器のオンオフ状
態を判断する手段を設けている。
間で無線により信号の伝送を行うようにして、機器制御
装置が検出した室内情報に基づいて複数の室内機器にそ
れぞれ異なった情報として送信する制御システムを構築
している。
人数、位置、活動状態、姿、大きさ、物の位置、室内の
明るさ、防犯異常、火災異常、室内機器のオンオフ状態
等といった室内の多様な環境状況を天井や壁などに設置
されたカメラ部、さらに温度や音声の検出手段で監視す
る。そのセンシング情報あるいはこれに基づいて制御指
令に加工した情報を室内機器に無線で送っている。
ようになっているので、室内での死角がなくなり、室内
状況を的確に把握できる。また、発光ダイオードから送
信される信号は室内全体にくまなく送信されるので、室
内機器はどこに配置されていても必ず信号を受信するこ
とができる。
の信号を受信すると、その指令に従って運転を変更した
り、あるいは受信した情報に基づいて運転が行われる。
そのため、室内機器は、自身が検出する室内情報よりも
多種多様な情報を得ることができ、きめ細かい運転を行
えたり、従来にない新たな機能が付加される。
換えることにより、検出した室内情報から各室内機器へ
の制御指令を出力するための制御内容を高度化でき、室
内機器はそのままで高度な機能を有した室内機器に変身
させることができる。
如く、室内状況を監視する画像検出手段1と、該画像検
出手段1からの室内情報を分析して複数の室内機器への
制御信号を発生させる制御手段2と、前記制御信号を無
線により前記室内機器に送信する送信手段3と、画像検
出手段1、制御手段2、送信手段3の各手段に直流低電
圧を供給する電源部4とを備えている。そして、各手段
はハウジング5に一体的に内蔵され、ハウジング5は、
室内の天井6に取り付けられた取付台7に支持アーム8
を介して縦軸周りに回転自在に支持されている。また、
支持アーム8は水平軸周りに回転自在とされ、方向可変
調整つまみ9によってハウジング5の垂直方向の角度は
可変可能とされる。そして、ハウジング5と電源部4は
コード10によって接続され、電源部4は側壁面11の
電源コンセント12に差し込まれている。
カメラ部20の画像信号から室内の画像センシング情報
を算出する画像センシング部21とからなる。カメラ部
20はCCDカメラあるいは撮像管からなるが、本実施
例では小型で軽量な点からCCDカメラが使用され、ハ
ウジング5の下部に配されて室内全体を見渡せるような
視野角になっている。画像センシング部21は、動物体
検知部22、輝度検知部23、色調検知部24を有した
マイクロコンピュータチップから構成される。動物体検
知部22では、人間や動く物体の位置、大きさ、動き
量、姿勢、室内の出入りの様子、出入りの頻度の各情報
が算出され、輝度検知部23では、室内の明暗の情報が
算出され、色調検知部24では、周囲の色調と異なった
部分を家具や機器の設置部と認識し、その家具や室内機
器の位置、大きさ、形状の各情報が算出される。
に人体検知については、1991IEEE THPM1
4.5 “AUTOMATIC VIEWING RA
NGE TRACING METHOD FOR CO
MMUNICATIONEQUIPMENT”に述べら
れているように、入力画像の連続しているフレームに基
づいて画像間差分を求めることで動き領域を求め、その
領域が大きい物体を人体領域とし、特に動き領域の最上
部を人体の頭頂部として認識している。この方法を図
3,4で説明すると、 「モード0」まず、CCDカメラにより入力された画像
信号30を画像メモリ31に記録する。
じて変化する)にCCDカメラにより入力された画像信
号30と、画像メモリ31に記録してあった画像データ
との絶対差分、すなわち画像での動領域を絶対差分部3
2により求め、その差分値を入力画像に応じて閾値決定
部33により定められたある閾値で比較部34により2
値化する。さらに、その2値化された内容をX軸濃度投
影部35でX軸に対して濃度投影をし(同じX座標の値
を累積計算する)、最大X軸投影座標抽出部36で濃度
投影データの中で最大の水平長さのX座標(Xa1,X
b1)を求める。
1)の内包区間(X座標=Xa1〜Xb1)での2値化
された内容をY軸濃度投影部37でY軸に濃度投影を行
い、最大Y軸投影座標抽出部38で投影されたデータの
中で最大垂直長さのY座標の最上部(Ytop)を求め
る。以上の座標Xa1〜Xb1,Ytopからの動物体
の座標エリア情報を得ることができる。ここで、Yto
pが人体の頭頂座標となる。
の画像センシング情報を各種室内機器に最適な制御指令
情報に加工する情報判定部40と、ここで加工された情
報内容をコード体系化された制御信号に変換する信号発
生部41とを備えたマイクロコンピュータチップからな
る。また、前記送信手段3は、赤外線、超音波、電磁波
等によって制御信号を送信する無線送信部からなる。と
ころで、室内機器には無線の受信装置が必要となるが、
空気調和機や照明機器等の場合、元来赤外線伝送による
リモートコントロールによって操作されるので、無線伝
送の方式を赤外線伝送方式とすれば、余分なコスト負担
にはならない。そこで、無線送信部3には発光ダイオー
ドが用いられ、ハウジング5の下部外周に装着されてい
る。なお、室内機器としては、自動走行掃除機、空気調
和機、床暖房機器、照明機器、報知機器、テレビジョン
やビデオテープレコーダ等の映像音声機器等があげられ
る。
内の状況を高所から俯瞰的にモニターし、これによって
得られた画像信号が画像センシング部21の画像メモリ
に蓄積されると同時に、所定のプログラムに従って物体
の検出を行う。すなわち、物体が動くものか静止したも
のかを判別し、動くものであれば、それが人体か他の動
く機器かを判別する。そして、その動く物体の大きさ、
位置、数、動きの様子といった情報が得られる。また、
動かない物体であれば、周囲の色調から家具あるいは室
内機器と判別され、その位置、大きさ、形状といった情
報が得られる。それとともに室内の明暗の情報も得られ
る。
された画像センシング情報に基づいて情報判定部40で
は、画像として捕らえられた室内の動物体の大きさ、位
置、動きの様子、数、室内の出入りの様子、出入りの頻
度等を判定して、これらの中から室内機器に必要なデー
タを選別、加工して、複数の室内機器を対象としてそれ
ぞれの機器を駆動するのに適した制御指令出力信号を発
生させる。そして、この出力信号を無線送信部3によっ
て赤外線伝送で各機器に無線送信する。これにより、同
一室内の複数の室内機器はそれぞれ室内の各種環境状況
に応じた運転が行われる。
けることにより、各室内機器はそれぞれ室内の各種環境
状況を検出すべきセンサをもつ必要がなくなり、室内機
器としての割高感が解消される。また、機器制御装置は
天井や壁など室内全体を見渡せる位置を見つけて自由に
設置できるので、室内を高所から俯瞰的に監視でき、室
内機器自身が検知する場合に比べてその設置場所上の制
約を受けなくなり、室内の人や物体の正しい検知が行わ
れず室内状況を把握できないという不都合を解消でき
る。
ング5とは別体としたが、図5の如く、電源部50をハ
ウジング51と一体にして、電源部50に、天井あるい
は壁面の回転着脱式電源コンセントに挿入して回転させ
ることにより装着する鍵型の差し込みプラグ52を設け
る。そして、差し込みプラグ52を用いて天井等に取り
付けることができるので、取付用の部材が必要なくなる
とともに取付作業も工具を用いずに容易に行え、コスト
低減を図ることができる。そのうえ、すべてが一体化さ
れているので、小型化を達成でき、天井に装着しても室
内に違和感を与えずにすっきりと収めることができる。
は、室内全体を確実に見渡せるように図6,7の如く、
複数(2台)のカメラ部20a,20bを設けている。
一方のカメラ部20aは各手段を内蔵したハウジング5
と一体にされ、他方のカメラ部20bはリード線により
一方のカメラ部20aを内蔵したハウジング5に接続さ
れ、室内の対向する両側の壁面上部にそれぞれ取り付け
られている。そして、画像センシング部21は、各カメ
ラ部20a,20bに対応して2個の画像メモリ60
a,60bと第一,第二入力切換部61a,61bを備
えており、他の構成は第一実施例と同じである。
信号が画像センシング部21に入力され、2個の画像信
号はそれぞれの画像メモリ60a,60bに入力される
と共に、第一入力切換部61aに入力される。そして、
画像メモリ60a,60bから第二入力切換部61bに
入力される。両入力切換部61a,61bは同じタイミ
ングで切り換わることにより、一方のカメラ部20aと
他方のカメラ部20bによって交互にモニターされる。
以下の動作は上記第一実施例と同じである。
より、一方のカメラ部が配置されている側の壁面を他方
のカメラ部によってお互いに監視することができ、室内
全体においてカメラ部の死角がなくなり、より確実に室
内状況を把握でき、室内機器を精度よく制御することが
できる。
に対して一つの画像センシング部を設けた構成にした
が、各カメラ部とセットで画像センシング部を設け、各
画像センシング部からの画像センシング情報を一つの制
御手段でまとめて処理するものでもよい。
して、1個のカメラ部を一定周期で回転または直線往復
運動させるように移動装置を設ける。移動装置として
は、モータとギヤを組み合わせたものにして、カメラ部
を内蔵したハウジング自身を回転させるか、あるいはモ
ータとラックピニオンを組み合わせたものにして、垂直
方向または水平方向に直線往復移動させる。またはカメ
ラ部自身を移動させてもよい。なお、回転移動させる場
合は、ハウジングを部屋の中央にあたる天井に取り付け
ることにより室内全体をカバーできる。また、直線往復
運動させる場合は、別に取付場所にこだわる必要はな
い。
せる場合の機器制御装置の構成を示す。カメラ部20を
一定周期で回転させる場合、図8のように1周をn等分
し、一回転する間にn回の画像を読み取ることとする。
n個の画像メモリ62が、タイミング発生部63からの
読み取りタイミング指示に応じてメモリ切換部64によ
り順に切り換えられる。そして、動物体検知部22にお
ける比較部34が、直前フレームの画像と比較するので
はなく一周期前のフレームの画像と比較するように構成
されている点を除いて他の構成は第一実施例と同じであ
る。なお、直線往復運動させる場合でも、同じ方法によ
り行う。
けることにより、1台のカメラにより室内全体を監視で
き、高価なカメラあるいは制御装置を多数用いなくて
も、しかも配線や取付作業も減らせて、安価に室内全体
を見渡せることができる。
に赤外線伝送方式を用いたときに部屋のいろいろな場所
に設置されている各室内機器への制御指令情報が確実に
届くように複数個の発光ダイオードをそれぞれ違った方
向を向けて配設したものである。制御対象の各室内機器
は、赤外線方式の受光装置をもっていることが多いの
で、赤外線方式とすることが有力であるが、赤外線方式
の場合、指向性のため角度によっては信号が届かないこ
とがある。そのため、図10の如く、7個の発光ダイオ
ード70を異なった方向(矢印の向き)を向くようにハ
ウジング5の下面に取り付ける。7個のうち1個は真下
の方向を向け、残りは等間隔で放射状に斜め下方向を向
けて配置している。そして、他の構成は第一実施例と同
じであるが、各発光ダイオード70からは同じ制御信号
が出力される。
は室内の全域をカバーすることになり、室内機器が部屋
のどこに設置されていても機器制御装置から送信された
制御信号を受信することができる。したがって、室内機
器は室内状況の感知しにくい場所であっても無線送信部
からの制御信号が届く場所であれば設置することが可能
となり、室内での配置の自由度が増し、ゆとりのある空
間を創造することができる。なお、発光ダイオードを複
数用いる代わりに、1個の発光ダイオードを円運動ある
いは往復直線運動させて、部屋の全域をカバーさせても
よい。
く、外部からの指令を受信する無線受信部71からなる
受信手段を設け、受信した信号の内容によって情報判定
部40に出力するか、あるいはそのまま無線送信部3か
ら室内機器に送信するように構成されている。無線受信
部71としては、赤外線、超音波、電磁波等を受信する
受信素子が用いられ、特に赤外線伝送方式を採用する場
合はホトダイオード、ホトトランジスタといった受光素
子が用いられ、室内のどこからでも受信できるようにハ
ウジングの外周面に装着されている。なお、他の構成は
第一実施例と同じである。
使用して指令を送信したり、あるいは他の機器からの指
令、機器制御装置以外の外部センサからの検出信号が送
信されてくると、無線受信部71はこの信号を受信す
る。受信した内容によって情報判定部40に送られ、外
部からの情報が加工されて無線送信部3を介して室内機
器に適切な制御信号が送信される。または、直接に無線
受信部71から無線送信部3に送られて機器に向けて送
信される。なお、無線送信部3へ送るに際して、送信タ
イミングの指示や送信の停止要求を行うことができる。
制御装置に入力されるので、適切な制御指令を出した
り、送信してきた機器との間で通信が可能となる。その
ため、室内に多くの機器が設置され、各々の機器の運転
状況が相互に関連した、いわゆるシステム運転を行うと
きに、本機器制御装置は有効に働く。
としても障害物があると通信が不可能となるが、一旦機
器制御装置に信号を送信することにより、機器制御装置
から送信する場合には先程の障害物が邪魔にはならず通
信が可能となる。
は、図12の如く、室内の状況を検出する状況検出手段
として室温を検出するサーミスタ等の温度検出部72を
備えている。温度検出部72は、ハウジング5に一体的
に内蔵され、検出した温度センシング情報は情報判定部
40に出力され、画像センシング部21からの画像セン
シング情報とともに室内情報の分析に活用される。他の
構成は第一実施例と同じである。
に設置されているので、部屋の高所での温度情報を得る
ことができる。例えば、制御対象機器が空気調和機の場
合、機器がもっている温度センサからの温度情報とは別
個の高所の温度情報により、本機器制御装置から室内全
体をより快適に制御すべく空気調和機に指令を出すこと
ができる。また、万一の火災事故の場合にも高所に本機
器制御装置が設置されているので、内蔵の温度検出部7
2によってすばやく検出され、それを報知するような指
令を行うことができる。
ウジングに搭載すれば、カメラ部が対向している壁面や
窓の輻射温度を検出できる。特に、空気調和機では測定
できない空気調和機が設置されている壁面や窓の輻射温
度を検出でき、この温度情報を空気調和機に制御信号と
して送信することになるので、きめ細かい温度情報を空
気調和機に与えることができる。
りに音声感知部73としてマイクロホンといった圧力セ
ンサを設けると、これによって検出された人間の話し
声、呼び声、赤ん坊の泣き声、電話の音、テレビ、ラジ
オの音声等が音声センシング情報として情報判定部40
に出力される。その音声の周波数、音量等と画像からの
情報に基づいて室内の状況が判別され、その状況に応じ
た制御指令を室内機器に送ることができる。このよう
に、音声情報を加味することにより単に画像による室内
状況の検出よりもきめ細かい情報を得ることができる。
上記以外に、湿度検出器、ガス検出器、煙検出器、赤外
線センサを設けてもよい。
なく、温度、湿度、ガス、明るさ、煙、音等の環境情報
からも多面的に捕らえることができ、高知能化が図られ
室内機器に対する制御信号がより最適な内容となり、室
内の環境を快適なものにすることができる。そして、温
度、湿度、ガス、明るさ、煙、音等を検出するセンサを
単独で用いずに組み合わせて用いると、多種の室内機器
に対応させることが可能となり、1台の機器制御装置に
よって効率のよい各機器の制御を行うことができる。
は、図14の如く、制御手段に電気的に消去、書き込み
自由な記憶素子であるEPROM,EEPROMといっ
たフラッシュメモリ74を内蔵させている。また、温度
検出部72および音声感知部73も備えている。フラッ
シュメモリ74には、画像センシング、温度センシン
グ、音声センシング等の各センシング情報の入力内容か
ら、対象となる室内機器に最適の指示や制御指令に加工
して送るための加工内容を記したアルゴリズム内容が記
録されている。ところが、フラッシュメモリ74は当初
入力されていたアルゴリズム内容を後から任意に書き換
えることができるので、より最適なものに変更すること
によってグレードアップを図ることができる。したがっ
て、室内機器はそのままの状態でわずかの費用によって
制御内容を高度化することができ、進展性のあるシステ
ムの供給が可能となる。これによって、高度な制御機能
をもった室内機器に買い替えを行う必要がなくなり、経
済的にも優れたものになる。
装置について説明したが、本実施例では、この機器制御
装置を用いて室内機器を総合的に制御する制御システム
を説明する。図15に示すように、室内の天井6の一側
に機器制御装置のハウジング5が取り付けられ、このハ
ウジング5のカメラ部20aとは別に天井の他側にカメ
ラ部20bが取り付けられ、このカメラ部20bはリー
ド線80によりハウジング5に接続されている。図中、
Aは一側のカメラ部20aの撮像範囲、Bは他側のカメ
ラ部20bの撮像範囲であり、両カメラ部で死角をなく
している。
り、壁82にルームエアコン83および報知機器84が
取り付けられ、床85に電気カーペット等の床暖房機器
86が置かれ、天井6に照明機器87が取り付けられ、
部屋の片隅にテレビジョン等の映像音声機器88が置か
れている。なお、89は人、90は照明機器のリモコン
受信ユニット、91〜96は各機器の受信装置(受光装
置)である。
例に述べたものと同じであるが、温度検出部72および
音声感知部73も備えており、情報判定部40におい
て、画像センシング情報、温度センシング情報、音声セ
ンシング情報に基づいて各機器に対してそれぞれ最適な
制御指令内容に加工された情報を発生させ、送信してい
る。
きを説明する。まず、自動走行掃除機81では、従来掃
除機自身に走行用のセンサが備えられ、障害物を検出し
ながら、かつ同一箇所を清掃しないように走行するよう
になっている。しかし、機器制御装置によれば、高所の
カメラ部20a,20bより俯瞰的に床部分を画像的に
捕らえており、しかも掃除機81のような動く物体の検
出は非常に容易であり、形状が変化しない動く物体であ
ることを認識させれば、人体89などの他の動く物体と
の識別が可能である。また動く物体でない静止物体であ
る障害物は、画像のなかの輝度や色調の変化している部
分で形状が規則的であることから検出が可能である。そ
して、複数のカメラ部20a,20bで監視すると、同
一場所の合成画像により障害物の立体検出も可能とな
り、より検出精度が増す。このように機器制御装置は従
来の自動走行掃除機のセンサと同一の働きをすることが
可能となるので、走行掃除機自身のセンサを省略するこ
とができる。
1の運転をスタートさせることにより、機器制御装置の
画像センシング部21の動物体検知機能により掃除機8
1のスタートが認識される。それとともにカメラ部20
a,20bの画像信号から掃除機81の位置、その他の
動く物体の位置、静止物体の位置、壁の位置がそれぞれ
検出される。これらの画像センシング情報が情報判定部
40に出力されると、障害物の回避、既走行部の重複走
行の原則的回避、過去の最適走行方法の基本的遵守とい
った掃除機用の走行アルゴリズムに従って、制御指令が
決定され、走行停止、回転、速度の各指令が信号化さ
れ、無線送信部3から掃除機81の受信装置91に向け
て信号が送信される。そして、この送信を受けた掃除機
81は、指令内容に基づき人体や障害物を避けながら効
率よく室内の掃除を行う。そのため、自動走行掃除機8
1は作動、停止する機能のみを有しておればよく、掃除
機の構成は非常に簡素になる。
像、温度、音声の3種類の室内の状況を検出することに
より、画像センシング情報として、人の位置、姿勢、動
き、大きさ、人数、在か不在か、室内の明るさ、ドアの
開閉状況、壁やドアの位置、空気調和機の位置の各情報
が得られる。温度センシング情報としては高所での室温
の情報が得られる。音声センシング情報としては人の在
か不在か、活動状態といった情報が得られる。これらの
室内センシング情報から、人の位置による風向、風量の
制御、活動状態による温度、風量、パワーの各制御、在
室人数によるパワー制御、不在時の省エネ運転、ドア開
閉による風量、風向、温度の各制御、高所の室温による
風向制御、消灯時の省エネ運転といった最適空調のアル
ゴリズムに基づいて、設定温度の調整、送風機回転数の
上げ下げ、吹き出し部のルーバー角度の変更、オンオフ
等の指令内容を決定し、空気調和機83に送信する。
て室内が人にとって快適な環境となるように運転され、
また人がいないときには運転を停止あるいは最低限の運
転をすることによって、省エネ効果を高めている。した
がって、空気調和機が本来もっているセンサでは、空気
調和機の直下や、空気調和機と同一壁面や窓の温度、輻
射熱を検出できず、センシング範囲が限定されるが、機
器制御装置を自由な場所にセットしたり、また複数のカ
メラ部をセットすることにより死角をなくすことができ
るので、普通の簡素なタイプの空気調和機をこの機器制
御装置により高機能、多機能な高級タイプのように変身
させることができる。
像、温度、音声の3種類の室内の状況を検出することに
より、画像センシング情報として、床暖房機器86上の
人の位置、姿勢、動き、大きさ、人数、在か不在か、床
暖房機器86の位置の各情報が得られる。温度センシン
グ情報としては高所での室温の情報が得られる。音声セ
ンシング情報としては人の在か不在か、活動状態といっ
た情報が得られる。これらの室内センシング情報から、
人の位置による部分温度の制御、活動状態による温度、
パワーの各制御、床暖房機器86上の人数によるパワー
制御、大人か子供かの識別による温度、パワーの各制
御、不在時の省エネ運転、高所の室温による温度、パワ
ーの各制御といった最適床暖房制御のアルゴリズムに基
づいて、部分暖房位置の指定、全暖房か部分暖房かの指
令、設定温度の調整、パワーの上げ下げ、オンオフ等の
指令内容を決定し、床暖房機器86に送信する。
て床暖房機器86の上にいる人にとって快適な環境とな
るように運転され、また人が不在かあるいは床暖房機器
86上の人のいない部分では運転を停止あるいは最低限
の運転をすることによって、省エネ効果を高めている。
しかも、人の位置、活動状態、大人か子供の識別といっ
た従来の床暖房機器では検出できない情報に基づいて、
人の動きに合わせた運転が可能となるので、より快適性
を向上させることができる。
像、音声から室内の状況を検出することにより、画像セ
ンシング情報として、人の位置、姿勢、動き、人数、在
か不在か、室内の明るさ、照明機器87の位置の各情報
が得られる。音声センシング情報としては人の在か不在
か、活動状態といった情報が得られる。これらの室内セ
ンシング情報から、不在時の照明オフ、入室時の照明オ
ン(室内が暗いとき)、活動状態による照明制御や照明
種類切換、人や照明機器87の位置検出による部分照明
制御といったアルゴリズムに基づいて、照明機器87の
オンオフ、照度の調整、他の照明機器との切換指令、複
数照明の切換指令等の指令内容を決定し、照明機器87
に送信する。
人の出入りに応じてオンオフされたり、人のいる場所を
集中的に照明したりして、室内が人にとって快適な環境
となるように運転される。特に活動状態を自動的に検出
して、その活動状態に応じた照明の種類や照度に切り換
える、いわゆるムード照明機能という従来の照明機器に
はない機能を付加することができる。また、人がいない
ときには照明を消して、省エネ効果を高めている。
像、温度、音声の3種類の室内の状況を検出することに
より、画像センシング情報として、人の位置、姿勢、動
き、大きさ、在か不在か、室内の明るさ、窓の位置、窓
からの人の侵入、火災報知の各情報が得られる。温度セ
ンシング情報としては高所での室温の情報が得られる。
音声センシング情報としては人の在か不在か、活動状
態、就寝時の不審な物音、大きな音(泣き声、叫び声)
といった情報が得られる。これらの室内センシング情報
から、不在時や就寝時にセキュリティの作動、窓からの
侵入で報知作動、寝たきり老人や赤ん坊の異常報知、室
内の暗いときの就寝モードへの切換、高所室温の異常上
昇での火災報知といったアルゴリズムに基づいて、不在
就寝モードへの切換指令、在/不在モニター信号、活動
状態モニター信号、これらのモニター内容から在室者の
何らかの変化を報知させる指令、防犯異常検知モニター
信号や防犯異常を報知させる指令、火災異常検知モニタ
ー信号や火災異常を報知させる指令などの制御指令やモ
ニター内容を報知機器84に無線で送る。
ば、報知機器84によりサイレン、音声等により室内で
の報知を行うだけでなく、他の部屋に無線によって通報
したり、電話回線を通じて予め設定された相手先へ通報
する。また、寝たきり老人や赤ん坊のように自分自身で
は行動できない人の何らかの異常を画像等で検出し、離
れた場所へ通報することによって、異常事態に対して迅
速な対応が可能となる。しかも画像をモニターしたり、
寝たきり老人や病人がジェスチャで行う「家人に来て欲
しい」等の意思表示を検出できるようなアルゴリズムを
入れておくことにより、人がつきっきりでいなくても離
れた場所にいながらでも完全な看護を行えるようにな
る。
画像、音声によって室内の状況を検出することにより、
画像センシング情報として、人の在か不在か、不在時間
の長さ、テレビ画面上の映像の動きの有無の各情報が得
られる。音声センシング情報としては人の在か不在か、
テレビ等の音声、電話等の大きな音といった情報が得ら
れる。これらの室内センシング情報から、不在時間の長
いときの機器停止指令、突然の大きな音(電話等)の鳴
動時に機器の音量ダウンといったアルゴリズムに基づい
て、機器のオフ、音量の調整等の指令内容を決定し、映
像音声機器88に送信する。
が長い時間不在であることがわかると機器を停止させて
つけっ放しといった無駄をなくしたり、電話音のような
大きい音が突然鳴動したときに機器の音量をダウンさせ
て、会話を妨げないようにする。このように、消し忘れ
を防止したり音量の調整の手間を省くことができ、人の
行動を主体にして映像音声機器を制御することができ
る。
ンしているのかオフしているのかは上記機器制御装置で
は、判別していなかった。そこで、本実施例では、制御
手段2の情報判定部40に、画像センシング情報および
音声センシング情報に基づいて室内機器のオンオフを判
別するとともに必要に応じて室内機器をオンオフさせる
機能を有せしめている。
室内の状況を検出することにより、画像センシング情報
として、空気調和機、照明機器、自動走行掃除機、映像
音声機器のそれぞれのオンオフ状態、室内の明るさ、人
の在か不在か、不在時間の長さの各情報が得られる。音
声センシング情報としては人の在か不在か、映像音声機
器のオンオフ状態といった情報が得られる。これらの室
内センシング情報から、不在時間が長くかつ映像音声機
器のオンが検知されるとき同機器をオフする、不在時間
が長くかつ空気調和機のオンが検知されるとき同機器の
設定温度の変更またはオフし、在室になったとき元の運
転に復帰する、不在時間が長くかつ照明機器のオンが検
知されるとき同機器をオフする、無人の室内に人が入っ
て来てかつ照明機器のオフが検知されるとき同機器をオ
ンするといったアルゴリズムに基づいて、各室内機器の
オンオフ信号、運転の強弱指令を室内情報とともに対象
となる室内機器に無線で送る。
検知する場合、吹き出し口に装着した吹き流しのような
テープのゆらぎの有無を画像的に検出することにより実
現できる。映像音声機器の場合は、その画面に映ってい
る映像の動画的変化を画像的に検出し、音声の検知も合
わせてオンオフを検出することができる。自動走行掃除
機の場合はその動きで判断する。床暖房機器の場合は赤
外線センサによって表面温度を検出することによって判
断できる。このように、画像的あるいは音声的に室内機
器のオンオフとその他の室内の様子を検出することによ
って、人がいないとき不要な機器の運転をなくすことが
でき、また部屋から出るときにオフするといった操作の
煩わしさを解消できる。しかも、通常室内機器のオンオ
フ状態はその機器からのモニター信号によって検出さ
れ、室内機器と機器制御装置との間の配線が必要であっ
たが、上記システムの場合、配線が不要であり、複数の
機器に容易に対応が可能となる。
ものではなく、本発明の範囲内で上記実施例に多くの修
正および変更を加え得ることは勿論である。例えば、機
器制御装置内に制御指令に基づいて音声を発生する音声
発生部を設けてもよい。音声発生部は、音声合成回路あ
るいはテープと、スピーカから構成する。これにより報
知機器がなくても、異常報知などの必要な音声指示や注
意喚起音を発声することができる。また、機器制御装置
から室内機器に指令があったときその運転状況を音声で
報知してもよく、人は室内機器の状態をすばやく把握で
きる。
よると、室内の多様な環境状況(室内の人の有無、人
数、位置、活動状態、姿、大きさ、物の位置、室内の明
るさ、防犯異常、火災異常等)を天井,壁に設置された
カメラ部またはカメラ部と温度や音声を検出する検出部
とを組み合わせたもので監視し、その室内情報あるいは
室内情報から制御指令に加工した情報を室内機器に無線
で送るようにした機器制御装置であるので、これがあれ
ば室内機器にとって室内の状況を検出するためのセンサ
が不要となり、室内機器のコストを下げて割高感を解消
できる。なお、室内機器への信号の送信手段として一般
的に用いられている赤外線伝送方式を採用すれば、室内
機器には受信装置が設けられていることが多いので、余
分なコスト負担とはならない。
体を見渡せる位置に簡単に設置できるので、室内機器に
存在する、その設置場所上の制約により室内の人や物を
正しく検知できないという不都合を解消できる。さら
に、カメラ部を移動させたり、複数にするといったこと
により、室内での死角をなくすことができ、室内状況を
完全に把握することができる。しかも、室内機器がどの
ような場所に設置されていても機器制御装置からは送信
が可能なので、機器制御装置を中継点にして室内機器に
信号を送信することができ、利用価値を高めることがで
きる。
器に対する制御システムを構築すると、室内状況を検出
した情報を生活実態に合わせたアルゴリズムに加工し
て、室内機器にそれぞれ適した制御指令情報として無線
で送信することになり、以下の効果が発生する。
の生活情報を一体化された機器制御装置により検出でき
るので、それぞれの室内機器自身の検出機能は軽減さ
れ、室内機器自身のコストダウンが実現できる。
ズムは機器制御装置内にあるので、室内機器自身は最低
の機能だけをもっておればよく、室内機器自身の制御用
ソフトウェアも軽減され、コストダウンになる。また、
アルゴリズム内容は、記憶素子の内容書き換えなどによ
り後からグレードアップが可能なので、室内機器はその
ままで制御内容を高度化することができ、高度な制御機
能をもった機器に買い替えを行う必要がなく、経済的で
ある。
きるので、室内機器自身が室内状況を検出するのに不向
きな場所にあっても、支障がない。また、機器制御装置
を高所に設置することにより、人の活動や他の機器の作
動の邪魔にならない。
加することが可能となり、人にとってより快適な生活環
境を創造することができる。
が、機器間の配線を行わなくても機器制御装置によって
共通の室内情報に基づき自然な形で行われる。
機器の運転が行われるので、不要な室内機器の運転をな
くすことができ、省エネルギーに貢献できる。
ック図
ブロック図
ブロック図
フローチャート
ーチャート
ーチャート
チャート
チャート
ローチャート
ローチャート
Claims (9)
- 【請求項1】 室内状況を監視する画像検出手段と、該
画像検出手段からの画像情報の中から室内機器に必要な
データを選別加工して複数の室内機器のアルゴリズムに
基づいてそれぞれの室内機器を駆動するのに適した制御
信号を発生させる制御手段と、前記制御信号を無線によ
り前記室内機器に送信する送信手段と、各手段を一体的
に内蔵したハウジングとが設けられ、該ハウジングが室
内の壁面に取り付けられたことを特徴とする機器制御装
置。 - 【請求項2】 室内状況を監視する画像検出手段と、室
内の状況を検出する状況検出手段と、前記画像検出手段
からの画像情報および状況検出手段からの環境情報の中
から室内機器に必要なデータを選別加工して複数の室内
機器のアルゴリズムに基づいてそれぞれの室内機器を駆
動するのに適した制御信号を発生させる制御手段と、前
記制御信号を無線により前記室内機器に送信する送信手
段と、各手段を一体的に内蔵したハウジングとが設けら
れ、該ハウジングが室内の壁面に取り付けられたことを
特徴とする機器制御装置。 - 【請求項3】 制御手段に、室内情報から室内機器のオ
ンオフ状態を判断する手段が設けられたことを特徴とす
る請求項1または2記載の室内機器の制御システム。 - 【請求項4】 画像検出手段、制御手段、送信手段の各
手段に電源を供給する電源部がハウジングに一体的に設
けられ、該電源部は壁面の電源コンセントに装着される
差し込みプラグを備えたことを特徴とする請求項1、2
または3記載の機器制御装置。 - 【請求項5】 画像検出手段は、カメラ部と、該カメラ
部の画像信号から室内情報を算出する画像センシング部
とからなり、室内全体を見渡せるように、前記カメラ部
を複数にするか、あるいはカメラ部を移動させる移動装
置を設けたことを特徴とする請求項1、2または3記載
の機器制御装置。 - 【請求項6】 送信手段は複数の赤外発光ダイオードか
らなり、室内全域をカバーするように各発光ダイオード
をそれぞれ異なった方向を向けて配置したことを特徴と
する請求項1、2または3記載の機器制御装置。 - 【請求項7】 外部からの無線信号を受信する受信手段
が設けられ、受信し た信号の内容によって制御手段に出
力するかあるいはそのまま室内機器に送信するよう構成
されたことを特徴とする請求項1、2または3記載の機
器制御装置。 - 【請求項8】 請求項1または2記載の機器制御装置か
ら送信された制御信号に基づいて運転される室内機器が
室内に配置されたことを特徴とする室内機器の制御シス
テム。 - 【請求項9】 機器制御装置の制御手段に、室内情報か
ら室内機器のオンオフ状態を判断する手段が設けられた
ことを特徴とする請求項8記載の室内機器の制御システ
ム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6056992A JP3048825B2 (ja) | 1994-03-28 | 1994-03-28 | 機器制御装置および室内機器の制御システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP6056992A JP3048825B2 (ja) | 1994-03-28 | 1994-03-28 | 機器制御装置および室内機器の制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07271426A JPH07271426A (ja) | 1995-10-20 |
JP3048825B2 true JP3048825B2 (ja) | 2000-06-05 |
Family
ID=13042997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP6056992A Expired - Lifetime JP3048825B2 (ja) | 1994-03-28 | 1994-03-28 | 機器制御装置および室内機器の制御システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3048825B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020250347A1 (ja) | 2019-06-12 | 2020-12-17 | 三菱電機株式会社 | 空調制御装置および空調制御システム |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3539607B2 (ja) * | 1997-02-19 | 2004-07-07 | シャープ株式会社 | 空気調和機の運転制御システム |
JP3951670B2 (ja) * | 2001-11-02 | 2007-08-01 | オムロン株式会社 | 中央管理装置、センサネットワークシステム、センサ管理装置、情報処理プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP3951671B2 (ja) * | 2001-11-02 | 2007-08-01 | オムロン株式会社 | センサ管理装置、センサネットワークシステム、情報処理プログラム、および該プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP3982256B2 (ja) * | 2001-12-21 | 2007-09-26 | ダイキン工業株式会社 | 遠隔監視システム、並びに、それに用いられる遠隔監視用装置及び設備機器 |
US7035773B2 (en) | 2002-03-06 | 2006-04-25 | Fisher-Rosemount Systems, Inc. | Appendable system and devices for data acquisition, analysis and control |
JP2006079363A (ja) * | 2004-09-09 | 2006-03-23 | Tempearl Ind Co Ltd | 省エネルギー対策方法及び対策装置 |
JP2007243726A (ja) | 2006-03-09 | 2007-09-20 | Fujifilm Corp | 遠隔制御装置、方法およびシステム |
DE202006008112U1 (de) * | 2006-05-20 | 2006-08-10 | Sick Ag | Optoelektronische Schutzeinrichtung |
JP2007082197A (ja) * | 2006-08-18 | 2007-03-29 | Nec Corp | モニタリングシステムおよびその方法 |
CN102414612B (zh) * | 2009-05-01 | 2015-03-11 | 皇家飞利浦电子股份有限公司 | 用于基于图像的照明控制和安全控制的系统和设备 |
JP5791573B2 (ja) | 2012-08-10 | 2015-10-07 | 三菱電機株式会社 | 空気調和機の室内機 |
JP6123971B1 (ja) * | 2015-08-07 | 2017-05-10 | コニカミノルタ株式会社 | 被監視者監視システム、被監視者監視装置および被監視者監視方法 |
DE102017113279A1 (de) * | 2017-06-16 | 2018-12-20 | Vorwerk & Co. Interholding Gmbh | System aus mindestens einem Haushaltsgerät, mindestens einem sich selbsttätig fortbewegenden Reinigungsgerät und einer Steuereinrichtung |
JP7002912B2 (ja) * | 2017-10-25 | 2022-01-20 | 株式会社東芝 | 画像センサ、人物検知方法、プログラムおよび制御システム |
JP6702376B2 (ja) * | 2018-09-03 | 2020-06-03 | ダイキン工業株式会社 | 送風制御装置 |
CN109235719B (zh) * | 2018-09-20 | 2021-12-14 | 普天智能照明研究院有限公司 | 一种装裱模块组合的操作方法 |
JP7357218B2 (ja) * | 2019-10-29 | 2023-10-06 | パナソニックIpマネジメント株式会社 | 画像センサ装置及び機器制御システム |
CN111261159B (zh) * | 2020-01-19 | 2022-12-13 | 百度在线网络技术(北京)有限公司 | 信息指示的方法及装置 |
-
1994
- 1994-03-28 JP JP6056992A patent/JP3048825B2/ja not_active Expired - Lifetime
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020250347A1 (ja) | 2019-06-12 | 2020-12-17 | 三菱電機株式会社 | 空調制御装置および空調制御システム |
US11913663B2 (en) | 2019-06-12 | 2024-02-27 | Mitsubishi Electric Corporation | Air-conditioning control device and air-conditioning control system |
Also Published As
Publication number | Publication date |
---|---|
JPH07271426A (ja) | 1995-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3048825B2 (ja) | 機器制御装置および室内機器の制御システム | |
JP5144446B2 (ja) | 空気調和装置 | |
CN115019455B (zh) | 智能门铃中的热管理 | |
US7750803B2 (en) | Security system and moving robot | |
CN112166350B (zh) | 智能设备中的超声感测的系统和方法 | |
EP1782406B1 (en) | Monitoring devices | |
US20100097226A1 (en) | Occupancy sensing with image and supplemental sensing | |
US11860306B2 (en) | Side looking occupancy sensor | |
JP6139901B2 (ja) | 警報システム | |
JP2012045383A (ja) | 自走式装置 | |
JP6285815B2 (ja) | 空気調和機又は空気調和システム | |
CN105291093A (zh) | 一种家用机器人系统 | |
US20230064892A1 (en) | Camera operating system and method | |
US11305416B1 (en) | Dynamic arrangement of motorized furniture | |
JP2010177750A (ja) | 負荷制御システム | |
JPH08123544A (ja) | 制御装置 | |
KR102706322B1 (ko) | 세대단말기를 이용한 동선감지 시스템 및 이를 이용한 방법 | |
JP2004173185A (ja) | 人の位置情報を利用する機器およびホームネットワークシステムおよびホームネットワーク上の機器の制御方法 | |
JP2007155180A (ja) | 空気調和機 | |
JPS62182999A (ja) | 室内監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080324 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090324 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 13 |