JP6159576B2 - Control device and program - Google Patents
Control device and program Download PDFInfo
- Publication number
- JP6159576B2 JP6159576B2 JP2013109900A JP2013109900A JP6159576B2 JP 6159576 B2 JP6159576 B2 JP 6159576B2 JP 2013109900 A JP2013109900 A JP 2013109900A JP 2013109900 A JP2013109900 A JP 2013109900A JP 6159576 B2 JP6159576 B2 JP 6159576B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- control signal
- image data
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000004891 communication Methods 0.000 claims description 77
- 238000003384 imaging method Methods 0.000 claims description 55
- 230000008054 signal transmission Effects 0.000 claims description 55
- 238000012545 processing Methods 0.000 claims description 41
- 230000005540 biological transmission Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 2
- 230000006870 function Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 11
- 238000012986 modification Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Selective Calling Equipment (AREA)
- Telephonic Communication Services (AREA)
- Air Conditioning Control Device (AREA)
Description
本発明は、機器を遠隔操作する技術に関する。 The present invention relates to a technique for remotely operating a device.
携帯電話などの通信端末を使って、家電機器を遠隔操作する技術が知られている。特許文献１には、このような技術により遠隔操作される機器の動作状態を確認するために、機器の動作状態を撮像した映像信号を操作端末に出力する技術が記載されている。
A technology for remotely controlling home appliances using a communication terminal such as a mobile phone is known.
しかしながら、特許文献１に記載の技術では、単に機器の現在の映像が表示されるだけであるため、ユーザーは、動作前の状態との違いを詳細に見比べなければならず、不便である。
本発明は、手間なく確実に機器の動作状態を通信端末上で確認できるようにすることを目的とする。
However, in the technique described in
An object of this invention is to enable it to confirm the operation state of an apparatus on a communication terminal reliably without a trouble.
本発明は、機器の操作を表す操作信号を通信端末から受信する信号受信部と、前記信号受信部により受信された前記操作信号に応じて、前記機器を制御する制御信号を当該機器に送信する信号送信部と、前記信号送信部により前記制御信号が送信された時点から当該制御信号に対して設定された時間が経過したときに、前記機器の画像を撮影し、当該撮影した画像を表す第１の画像データを生成する撮像部と、前記撮像部により生成された前記第１の画像データを前記通信端末に送信する画像送信部とを備える制御装置を提供する。 The present invention transmits a signal reception unit that receives an operation signal representing an operation of a device from a communication terminal, and a control signal that controls the device according to the operation signal received by the signal reception unit. When the time set for the control signal has elapsed from the time when the control signal is transmitted by the signal transmission unit and the signal transmission unit, an image of the device is captured and the first image representing the captured image is displayed. There is provided a control device including an imaging unit that generates one image data, and an image transmission unit that transmits the first image data generated by the imaging unit to the communication terminal.
前記制御装置において、前記撮像部は、前記信号送信部が前記制御信号を送信する前に、前記機器の画像を撮影し、当該撮影した画像を表す第２の画像データを生成し、前記第１の画像データが表す画像と前記第２の画像データが表す画像との差分が強調されるように、前記第１の画像データに画像処理を施す画像処理部をさらに備え、前記画像送信部は、前記画像処理部により前記画像処理が施された第１の画像データを前記通信端末に送信してもよい。 In the control device, the imaging unit captures an image of the device before the signal transmission unit transmits the control signal, generates second image data representing the captured image, and generates the first image data. An image processing unit that performs image processing on the first image data so that a difference between the image represented by the image data and the image represented by the second image data is enhanced, The first image data subjected to the image processing by the image processing unit may be transmitted to the communication terminal.
前記制御装置において、前記撮像部は、前記信号送信部が前記制御信号を送信する前後の所定の期間において、前記機器の複数の画像を連続して撮影し、前記撮像部により撮影された前記複数の画像において、直前に撮影された画像との差分量が閾値より大きい画像を特定し、前記信号送信部により前記制御信号が送信された時点から当該特定した画像が撮影された時点までの時間を、当該制御信号に設定する設定部をさらに備えてもよい。 In the control device, the imaging unit continuously captures a plurality of images of the device in a predetermined period before and after the signal transmission unit transmits the control signal, and the plurality of images captured by the imaging unit. In this image, an image whose difference from the image captured immediately before is specified is larger than a threshold, and the time from when the control signal is transmitted by the signal transmission unit to the time when the specified image is captured is determined. A setting unit for setting the control signal may be further provided.
前記制御装置において、前記撮像部は、前記信号送信部が前記制御信号を送信する前に、前記機器の画像を撮影し、当該撮影した画像を表す第２の画像データを生成し、前記第１の画像データが表す画像と前記第２の画像データが表す画像との差分に応じて、前記機器が動作したか否かを判定する判定部をさらに備え、前記画像送信部は、前記第１の画像データとともに又は前記第１の画像データに代えて、前記判定部による判定結果を前記通信端末に送信してもよい。 In the control device, the imaging unit captures an image of the device before the signal transmission unit transmits the control signal, generates second image data representing the captured image, and generates the first image data. A determination unit that determines whether or not the device has operated according to a difference between the image represented by the image data and the image represented by the second image data, and the image transmission unit includes: The determination result by the determination unit may be transmitted to the communication terminal together with the image data or instead of the first image data.
前記制御装置において、前記信号送信部は、前記信号受信部により複数の機器の操作を表す操作信号が受信された場合には、当該複数の機器に設定された時間の長さに応じた順番で、当該複数の機器に制御信号を送信してもよい。 In the control device, when an operation signal representing an operation of a plurality of devices is received by the signal receiving unit, the signal transmission unit is in an order according to the length of time set for the plurality of devices. A control signal may be transmitted to the plurality of devices.
また、本発明は、コンピュータに、機器の操作を表す操作信号を通信端末から受信するステップと、前記受信された操作信号に応じて、前記機器を制御する制御信号を当該機器に送信するステップと、前記制御信号が送信された時点から当該制御信号に対して設定された時間が経過したときに、撮像部に前記機器の画像を撮影させるステップと、前記撮像部により撮影された前記画像を表す第１の画像データを前記通信端末に送信するステップとを実行させるためのプログラムを提供する。 The present invention also includes a step of receiving, from a communication terminal, an operation signal representing an operation of the device, and a step of transmitting a control signal for controlling the device to the device in accordance with the received operation signal. A step of causing the imaging unit to capture an image of the device when a time set for the control signal has elapsed since the time when the control signal was transmitted, and the image captured by the imaging unit A program for executing the step of transmitting first image data to the communication terminal is provided.
本発明によれば、手間なく確実に機器の動作状態を通信端末上で確認することができる。 ADVANTAGE OF THE INVENTION According to this invention, the operation state of an apparatus can be confirmed on a communication terminal reliably without a trouble.
［第１実施形態］
１．構成
（１）システム全体の構成
図１は、第１実施形態に係る遠隔操作システム１の全体構成を示す図である。遠隔操作システム１は、通信端末１０と、制御装置２０とを備える。通信端末１０と制御装置２０とは、移動体通信網やインターネットを含むネットワーク２を介して接続される。通信端末１０は、例えば携帯電話やスマートフォン、タブレット端末である。通信端末１０は、ユーザーの家に設置された複数の機器３０を遠隔操作するときに用いられる。複数の機器３０には、例えばエアコン、照明、テレビ、ヒーター、扇風機、ビデオレコーダ、オーディオプレーヤ、洗濯機、風呂給湯器、電気錠、電動シャッタ、電動カーテン、ロボット掃除機、コンピュータ等の、ユーザーにより操作される各種の機器が含まれる。制御装置２０は、通信端末１０上で行われた操作に従って機器３０を制御する機能を有する。
[First Embodiment]
1. Configuration (1) Overall Configuration of System FIG. 1 is a diagram showing an overall configuration of a
（２）通信端末の構成
図２は、通信端末１０のハードウェア構成を示す図である。通信端末１０は、ＣＰＵ（Central Processing Unit）などのプロセッサ１１と、ＲＡＭ（Random Access Memory）などのメインメモリ１２と、通信部１３と、タッチパネルやキーなどの入力部１４と、液晶ディスプレイなどの表示部１５と、フラッシュメモリなどの記憶部１６とを備える。なお、通信端末１０は、これらの構成の他に、音声通話を行うための構成を備えていてもよい。
(2) Configuration of Communication Terminal FIG. 2 is a diagram illustrating a hardware configuration of the
プロセッサ１１は、記憶部１６に記憶されたプログラムを実行することにより、通信端末１０の各部を制御する。メインメモリ１２は、プログラムやデータを一時的に記憶する。メインメモリ１２は、プロセッサ１１がプログラムを実行する際の作業領域として用いられる。通信部１３は、ネットワーク２に接続されるインタフェースである。具体的には、ネットワーク２には基地局が含まれており、通信部１３はこの基地局に無線で接続される。通信部１３は、ネットワーク２を介してサーバー装置と通信を行う。入力部１４は、ユーザーの操作に応じた情報をプロセッサ１１に入力する。表示部１５は、各種の情報を表示する。記憶部１６は、各種のプログラムやデータを記憶する。
The processor 11 controls each unit of the
図３は、通信端末１０の機能構成を示す図である。通信端末１０は、プロセッサ１１が１又は複数のプログラムを実行することにより、送信部１１１、受信部１１２及び表示制御部１１３の機能を実現する。送信部１１１は、機器３０の操作を表す操作信号を、通信部１３を介して制御装置２０に送信する。受信部１１２は、制御装置２０から通信部１３を介して画像データを受信する。表示制御部１１３は、受信部１１２によって受信された画像データに応じた画像を表示部１５に表示させる。
FIG. 3 is a diagram illustrating a functional configuration of the
（３）制御装置の構成
図４は、制御装置２０のハードウェア構成を示す図である。制御装置２０は、ＣＰＵなどのプロセッサ２１と、ＲＡＭなどのメインメモリ２２と、通信部２３と、赤外線発光ダイオードなどの制御信号送信部２４と、カメラなどの撮像部２５と、フラッシュメモリなどの記憶部２６と、モーターなどの駆動部２７と、回転台２８とを備える。
(3) Configuration of Control Device FIG. 4 is a diagram illustrating a hardware configuration of the
プロセッサ２１は、記憶部２６に記憶されたプログラムを実行することにより、制御装置２０の各部を制御する。メインメモリ２２は、プログラムやデータを一時的に記憶する。メインメモリ２２は、プロセッサ２１がプログラムを実行する際の作業領域として用いられる。通信部２３は、ネットワーク２に接続されるインタフェースである。通信部２３は、ネットワーク２を介して通信端末１０と通信を行う。制御信号送信部２４は、赤外線により、機器３０に制御信号を送信する。制御信号送信部２４は、特定の方向に指向性を有する。撮像部２５は、画像を撮影し、撮影した画像を表す画像データを生成する。記憶部２６は、各種のプログラムやデータを記憶する。また、記憶部２６は、制御テーブル２６１を記憶する。
The
駆動部２７は、回転台２８を駆動して回転させる。回転台２８は、水平方向及び垂直方向に回転可能な台である。図１に示すように、回転台２８の上には、制御信号送信部２４と撮像部２５とが固定される。制御信号送信部２４と撮像部２５の向きは、制御信号送信部２４の照射方向と撮像部２５の光軸方向とが概ね一致するように予め調整される。
The
図５は、記憶部２６に記憶された制御テーブル２６１の一例を示す図である。制御テーブル２６１は、機器３０に制御信号を送信するときに用いられる。制御テーブル２６１には、機器３０の識別情報と、操作信号と、制御信号と、機器３０の方向と、設定時間とが対応付けて格納される。
FIG. 5 is a diagram illustrating an example of the control table 261 stored in the
機器３０の識別情報は、機器３０を識別する情報である。機器３０の識別情報には、例えば機器３０のメーカー名や機種種別が含まれる。操作信号は、機器３０の操作を表す信号である。制御信号は、機器３０を制御する信号である。制御信号は、例えば機器３０を遠隔操作するためのサービスの提供者又は制御装置２０のメーカーによりサーバー装置に登録されており、予めサーバー装置からダウンロードされる。機器３０の方向は、予め定められた制御装置２０の設置地点から見た対象の機器３０の方向である。設定時間は、制御信号に従って機器３０が動作を開始した時点から実際に動作したことが外見上認識できるようになるまでの時間である。
The identification information of the
設定時間は、制御信号毎に予め設定される。例えば、エアコンは、電源がオンになってもすぐには外観に変化がないため、ルーバーが開くまでエアコンの電源がオンになったことを外見上認識することができない。この場合、エアコンに電源をオンにする制御信号ｓ１が送信されてからルーバーが開くまでの時間が計測され、計測された時間が設定時間として制御信号ｓ１に設定される。例えば、エアコンに制御信号ｓ１が送信されてから５秒後にルーバーが開く場合には、５秒という設定時間が制御信号ｓ１に設定される。他の制御信号についても同様に設定時間が設定される。 The set time is set in advance for each control signal. For example, since the appearance of an air conditioner does not change immediately after the power is turned on, it cannot be visually recognized that the air conditioner is turned on until the louver is opened. In this case, the time from when the control signal s1 for turning on the power to the air conditioner is transmitted until the louver opens is measured, and the measured time is set as the set time in the control signal s1. For example, when the louver opens 5 seconds after the control signal s1 is transmitted to the air conditioner, the set time of 5 seconds is set in the control signal s1. The set time is similarly set for other control signals.
図６は、制御装置２０の機能構成を示す図である。制御装置２０は、プロセッサ２１が１又は複数のプログラムを実行することにより、信号受信部２１１、信号送信部２１２、駆動制御部２１３、撮像制御部２１４及び画像送信部２１５の機能を実現する。制御装置２０は、本発明に係るコンピュータの一例である。信号受信部２１１は、機器３０の操作を表す操作信号を通信端末１０から通信部２３を介して受信する。信号送信部２１２は、制御テーブル２６１を参照して、信号受信部２１１により受信された操作信号に応じて、機器３０を制御する制御信号を制御信号送信部２４を介して機器３０に送信する。駆動制御部２１３は、制御テーブル２６１を参照して、制御信号送信部２４が機器３０の方を向くように、駆動部２７に回転台２８を回転させる。撮像制御部２１４は、制御テーブル２６１を参照して、信号送信部２１２により制御信号が送信された時点からこの制御信号に対して設定された設定時間が経過したときに、撮像部２５に機器３０の画像を撮影させる。画像送信部２１５は、撮像部２５により撮影された画像を表す第１の画像データを、通信部２３を介して通信端末１０に送信する。
FIG. 6 is a diagram illustrating a functional configuration of the
２．動作
次に、遠隔操作システム１の動作について説明する。遠隔操作システム１では、通信端末１０上で行われた操作に従って機器３０が制御されるとともに、その操作の結果である機器３０の動作状態を表す画像がユーザーに提示される。
2. Operation Next, the operation of the
図７は、遠隔操作システム１の動作を示すシーケンスチャートである。ユーザーは、入力部１４を介して、機器３０の操作を表す操作信号を入力する。例えば、エアコンの電源をオンにする場合には、エアコンの電源をオンにする操作を表す操作信号Ｓ１が入力される。操作信号が入力されると、ステップＳ１０１の処理が開始される。
FIG. 7 is a sequence chart showing the operation of the
ステップＳ１０１において、送信部１１１は、入力された操作信号を通信部１３を介して制御装置２０に送信する。通信端末１０から操作信号が送信されると、信号受信部２１１は、通信部２３を介してこの操作信号を受信する。
In step S <b> 101, the
ステップＳ１０２において、駆動制御部２１３は、制御信号送信部２４が制御対象の機器３０の方を向くように、駆動部２７に回転台２８を回転させる。具体的には、駆動制御部２１３は、制御テーブル２６１において、通信端末１０から受信した操作信号と対応付けて格納された機器３０の方向を特定する。続いて、駆動制御部２１３は、特定した機器３０の方向と制御信号送信部２４の照射方向とが一致するように、駆動部２７に回転台２８を回転させる。例えば、通信端末１０から操作信号Ｓ１を受信した場合には、図５に示す制御テーブル２６１において、この操作信号Ｓ１と対応付けて格納された方向Ｄ１が特定される。この場合、制御信号送信部２４の照射方向が方向Ｄ１となるように、回転台２８が回転される。
In step S102, the
ステップＳ１０３において、信号送信部２１２は、通信端末１０から受信した操作信号に対応する制御信号を、制御信号送信部２４を介して制御対象の機器３０に送信する。具体的には、信号送信部２１２は、通信端末１０から受信した操作信号と対応付けて格納された制御信号を制御テーブル２６１から読み出す。続いて、信号送信部２１２は、読み出した制御信号を制御信号送信部２４を介して送信する。例えば、通信端末１０から操作信号Ｓ１を受信した場合には、図５に示す制御テーブル２６１において操作信号Ｓ１と対応付けて格納された制御信号ｓ１が読み出される。この場合、制御信号送信部２４から制御信号ｓ１が送信される。ここで、ステップＳ１０２では、制御信号送信部２４が制御対象の機器３０の方を向くように調整されている。そのため、制御信号送信部２４から送信された制御信号ｓ１は、制御対象の機器３０であるエアコンに到達する。
In step S <b> 103, the
ステップＳ１０４において、機器３０は、制御装置２０から受信した制御信号に従って動作する。例えば、エアコンが制御装置２０から制御信号ｓ１を受信した場合には、エアコンの電源がオンになる。
In step S <b> 104, the
ステップＳ１０５において、撮像制御部２１４は、制御信号送信部２４から制御信号が送信された時点からこの制御信号に対して設定された設定時間が経過したときに、撮像部２５に制御対象の機器３０の画像を撮影させる。具体的には、撮像制御部２１４は、制御信号送信部２４から制御信号が送信されたときにタイマーを起動し、時間の計測を開始する。また、撮像制御部２１４は、制御テーブル２６１において、ステップＳ１０３で送信された制御信号と対応付けて格納された設定時間を特定し、制御信号が送信された時点からこの設定時間が経過すると、撮像部２５に制御対象の機器３０の画像を撮影させる。撮像部２５は、撮像制御部２１４の制御の下、制御対象の機器３０の画像を撮影し、撮影した画像を表す画像データを生成する。この画像データは、第１の画像データの一例である。
In step S105, the
ここで、上述したように、制御信号送信部２４及び撮像部２５は、制御信号送信部２４の照射方向と撮像部２５の光軸方向とが概ね一致するように固定されている。そのため、ステップＳ１０２において制御信号送信部２４が制御対象の機器３０の方を向くように調整されると、撮像部２５も制御対象の機器３０の方を向くことになる。したがって、ステップＳ１０５では、改めて回転台２８を回転させなくても、制御対象の機器３０の画像を撮影することができる。
Here, as described above, the control
図８は、機器３０の撮影タイミングの一例を示す図である。図８では、制御信号ｓ１の送信に応じてエアコンの画像を撮影する場合の撮影タイミングが例示されている。時刻ｔ０において、制御信号ｓ１がエアコンに送信されると、この制御信号ｓ１に従ってエアコンの電源がオンになる。ただし、時刻ｔ０の時点では、まだエアコンのルーバーは閉じている。時刻ｔ０から数秒経過すると、ルーバーが開き始め、時刻ｔ０から５秒後の時刻ｔ５において、ルーバーが完全に開く。制御信号ｓ１が送信された場合には、図５に示す制御テーブル２６１において、制御信号ｓ１と対応付けて格納された５秒という設定時間が特定されるため、時刻ｔ０から５秒後の時刻ｔ５にエアコンの画像が撮影される。これにより、ルーバーが開いた状態のエアコンの画像が撮影される。
FIG. 8 is a diagram illustrating an example of the shooting timing of the
ステップＳ１０６において、画像送信部２１５は、撮像部２５により生成された画像データを、通信部２３を介して通信端末１０に送信する。制御装置２０から画像データが送信されると、受信部１１２は、通信部１３を介してこの画像データを受信する。
In step S <b> 106, the
ステップＳ１０７において、表示制御部１１３は、受信部１１２により受信された画像データに応じた画像１５１を表示部１５に表示させる。図９は、表示部１５に表示される画像１５１の一例を示す図である。この画像１５１には、ルーバーが開いた状態のエアコンの像が含まれている。ユーザーは、この画像を見ることにより、エアコンの電源をオンにする操作に従って、実際にエアコンの電源がオンになったことを確認することができる。
In step S <b> 107, the
このように機器３０の動作状態を通信端末１０上で確認することは、特に、テレビやビデオレコーダのように、電源をオンにする制御信号と電源をオフにする制御信号とが同じ信号であり、トグル動作を行うような機器３０を遠隔操作するときに有効である。このような機器３０は、操作前の状態によっては、ユーザーの操作に応じてユーザーの意図とは逆の動作状態になってしまう場合がある。例えば、テレビの電源がオン状態のときに、ユーザーが通信端末１０上でテレビの電源をオンにする操作を行うと、テレビの電源はオフになってしまう。この場合、テレビの電源がオフになったことが確認できれば、ユーザーは、操作をやり直すことができる。
The confirmation of the operation state of the
以上説明した第１実施形態によれば、ユーザーが通信端末１０上で機器３０の操作を行うと、この操作に従って機器３０が制御された後、機器３０の画像が撮影され、撮影された画像が通信端末１０上に表示される。さらに、機器３０の画像は、機器３０が制御信号に従って動作したことが外見上認識できるようなタイミングで撮影される。したがって、手間なく確実に機器３０の動作状態を通信端末１０上で確認することができる。
According to the first embodiment described above, when the user operates the
また、第１実施形態によれば、機器３０の画像を撮影するだけで足りるため、例えば制御装置２０に機器３０の動作状態を検知するための各種センサーを設ける必要がない。したがって、制御装置２０の構成を簡略化することができる。
Further, according to the first embodiment, since it is sufficient to capture an image of the
［第２実施形態］
次に、本発明の第２実施形態について説明する。上述した第１実施形態では、撮像部２５により生成された画像データをそのまま通信端末１０に送信する例について説明した。これに対し、第２実施形態では、撮像部２５により生成された画像データに画像処理を施してから通信端末１０に送信する。第２実施形態に係る通信端末１０の構成及び制御装置２０の構成は、基本的には、第１実施形態で説明した構成と同じである。ただし、第２実施形態に係る制御装置２０は、第１実施形態で説明した機能構成とは異なる機能構成を備える。以下、第１実施形態との相違点を中心に説明する。
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In the first embodiment described above, the example in which the image data generated by the
図１０は、第２実施形態に係る制御装置２０の機能構成を示す図である。制御装置２０は、第１実施形態で説明した機能に加えて、画像処理部２１６の機能を実現する。また、第２実施形態においては、撮像制御部２１４は、信号送信部２１２が制御信号を送信する前にも、撮像部２５に機器３０の画像を撮影させる。撮像部２５は、撮像制御部２１４の制御の下、信号送信部２１２が制御信号を送信する前にも機器３０の画像を撮影し、撮影した画像を表す第２の画像データを生成する。画像処理部２１６は、第１の画像データが表す画像と第２の画像データが表す画像との差分が強調されるように、第１の画像データに画像処理を施す。画像送信部２１５は、画像処理部２１６により画像処理が施された第１の画像データを通信端末１０に送信する。
FIG. 10 is a diagram illustrating a functional configuration of the
図１１は、第２実施形態に係る遠隔操作システム１の動作を示すシーケンスチャートである。ステップＳ２０１及びＳ２０２の処理は、第１実施形態で説明したステップＳ１０１及びＳ１０２の処理と同じである。
FIG. 11 is a sequence chart showing the operation of the
ステップＳ２０３において、撮像制御部２１４は、信号送信部２１２により制御信号が送信される前に、撮像部２５に対象の機器３０の画像を撮影させる。撮像部２５は、撮像制御部２１４の制御の下、制御対象の機器３０の画像を撮影し、撮影した画像を表す参照画像データを生成する。この参照画像データは、第２の画像データの一例である。
In step S <b> 203, the
ステップＳ２０４〜Ｓ２０６の処理は、第１実施形態で説明したステップＳ１０３〜Ｓ１０５の処理と同じである。なお、以下の説明では、ステップＳ２０６で撮影された画像を表す画像データを「対象画像データ」という。この対象画像データは、第１の画像データの一例である。 The processing in steps S204 to S206 is the same as the processing in steps S103 to S105 described in the first embodiment. In the following description, the image data representing the image captured in step S206 is referred to as “target image data”. This target image data is an example of first image data.
ステップＳ２０７において、画像処理部２１６は、ステップＳ２０３で生成された参照画像データが表す画像５０とステップＳ２０６で生成された対象画像データが表す画像５１との差分が強調されるように、対象画像データに画像処理を施す。具体的には、画像処理部２１６は、参照画像データが表す画像５０と対象画像データが表す画像５１との差分を抽出する。続いて、画像処理部２１６は、抽出した差分が強調されるように対象画像データに画像処理を施す。
In step S207, the
図１２は、画像処理の一例を示す図である。図１２では、ステップＳ２０３でルーバーが閉じた状態のエアコンの画像５０を表す参照画像データが生成され、ステップＳ２０６でルーバーが開いた状態のエアコンの画像５１を表す対象画像データが生成された場合に行われる画像処理が例示されている。この例では、画像５０と画像５１とは破線で囲まれたルーバー部分が相違するため、画像５０と画像５１の差分としてルーバー部分が抽出される。この場合、対象画像データに対して、ルーバー部分を赤く着色する等、ルーバー部分の色相、明度又は彩度を変更する画像処理が施される。
FIG. 12 is a diagram illustrating an example of image processing. In FIG. 12, reference image data representing the
図１３は、画像処理の別の例を示す図である。この例では、図１２に示す例と同様に、画像５０と画像５１の差分としてルーバー部分が抽出される。ただし、対象画像データに対して、ルーバー部分に囲み線５２や矢印の画像５３を付加する画像処理が施される。
FIG. 13 is a diagram illustrating another example of image processing. In this example, a louver portion is extracted as a difference between the
図１４は、画像処理の別の例を示す図である。この例では、図１２に示す例と同様に、画像５０と画像５１の差分としてルーバー部分が抽出される。ただし、対象画像データに対して、ルーバー部分を切り抜く画像処理が施される。
FIG. 14 is a diagram illustrating another example of image processing. In this example, a louver portion is extracted as a difference between the
ステップ２０８において、画像送信部２１５は、ステップＳ２０７で画像処理が施された対象画像データを、通信部２３を介して通信端末１０に送信する。以降の処理は、第１実施形態と同様である。
In
以上説明した第２実施形態によれば、機器３０が動作する前の状態と動作した後の状態との差分が強調して表示されるため、機器３０の動作状態を容易に認識することができる。
According to the second embodiment described above, since the difference between the state before the
［変形例］
本発明は、上述した第１及び第２実施形態に限定されず、以下のように変形してもよい。また、以下の変形例を互いに組み合わせてもよい。
[Modification]
The present invention is not limited to the first and second embodiments described above, and may be modified as follows. Further, the following modifications may be combined with each other.
（１）上述した第１及び第２実施形態では、予め設定時間が設定される例について説明した。しかし、設定時間は、制御装置２０によって設定されてもよい。この場合、制御装置２０は、第１又は第２実施形態で説明した処理を行う前に、設定処理を行う。
(1) In the first and second embodiments described above, the example in which the set time is set in advance has been described. However, the set time may be set by the
図１５は、本変形例に係る制御装置２０の機能構成を示す図である。制御装置２０は、第１実施形態で説明した機能に加えて、設定部２１７の機能を実現する。設定処理においては、撮像制御部２１４は、信号送信部２１２が制御信号を送信する前後の所定の期間において、撮像部２５に機器３０の複数の画像を連続して撮影させる。設定部２１７は、撮像部２５により撮影された複数の画像において、直前に撮影された画像との差分量が閾値より大きい画像を特定し、信号送信部２１２により制御信号が送信された時点から、特定した画像が撮影された時点までの時間を設定時間として制御信号に設定する。この差分量とは、比較対象の２個の画像が異なる度合いを表す量である。例えば、差分量は、比較対象の２個の画像の差分を抽出することによって、変化が生じた領域を特定し、特定した領域の画素数を計算することによって求められる。また、制御信号が送信された時点から特定した画像が撮影された時点までの時間は、例えばタイマーを用いて計測される。設定部２１７により設定された設定時間は、制御信号と対応付けて制御テーブル２６１に格納される。
FIG. 15 is a diagram illustrating a functional configuration of the
図１６は、設定処理を説明する図である。図１６では、制御信号ｓ１に設定時間を設定する処理が例示されている。この例では、制御信号ｓ１がエアコンに送信される１秒前に画像６０が撮影され、制御信号ｓ１がエアコンに送信されてから１〜６秒後にそれぞれ画像６１〜６６が撮影される。画像６０〜６４は、いずれもルーバーが閉じた状態のエアコンを表しているため、直前に撮影された画像との間でほとんど変化が生じず、直前に撮影された画像との間の差分量は閾値以下になる。一方、画像６５は、ルーバーが開いた状態のエアコンを表しており、直前に撮影された画像６４との間でルーバー部分に大きな変化が生じるため、直前に撮影された画像６５との間の差分量は閾値より大きくなる。この場合、制御信号ｓ１が送信されてから５秒後に撮影された画像６５が特定され、制御信号ｓ１には５秒という設定時間が設定される。
FIG. 16 is a diagram illustrating the setting process. FIG. 16 illustrates a process for setting a set time for the control signal s1. In this example, the image 60 is captured 1 second before the control signal s1 is transmitted to the air conditioner, and the
本変形例によれば、例えばユーザーが自ら設定時間を設定する作業を行わなくても、適切な設定時間が設定される。 According to this modification, for example, even if the user does not perform the operation of setting the set time himself, an appropriate set time is set.
（２）上述した第１及び第２実施形態において、制御装置２０が、機器３０が動作したか否かを判定し、その判定結果を通信端末１０に送信してもよい。
(2) In the first and second embodiments described above, the
図１７は、本変形例に係る制御装置２０の機能構成を示す図である。制御装置２０は、第１実施形態で説明した機能に加えて、判定部２１８の機能を実現する。本変形例においては、撮像制御部２１４は、上述した第２実施形態と同様に、信号送信部２１２が制御信号を送信する前にも、撮像部２５に機器３０の画像を撮影させる。撮像部２５は、撮像制御部２１４の制御の下、信号送信部２１２が制御信号を送信する前にも機器３０の画像を撮影し、撮影した画像を表す第２の画像データを生成する。
FIG. 17 is a diagram illustrating a functional configuration of the
判定部２１８は、第１の画像データが表す画像と第２の画像データが表す画像との差分に応じて、機器３０が動作したか否かを判定する。具体的には、判定部２１８は、第１の画像データが表す画像と第２の画像データが表す画像との差分量を算出し、算出した差分量が閾値より大きい場合には、機器３０が動作したと判定する。この差分量は、例えばこれらの画像の差分を抽出することによって、変化が生じた領域を特定し、特定した領域の画素数を計算することによって求められる。例えば、図１２に示すように、信号送信部２１２が制御信号を送信する前に、ルーバーが閉じた状態のエアコンの画像５０が撮影され、信号送信部２１２が制御信号を送信した後に、ルーバーが開いた状態のエアコンの画像５１が撮影された場合には、画像５０と画像５１とはルーバー部分に大きな変化があるため、画像５０と画像５１の差分量は閾値より大きくなる。この場合には、制御対象の機器３０が動作したと判定される。
The
また、判定部２１８は、第１の画像データが表す画像と第２の画像データが表す画像との予め設定された領域における差分に応じて、機器３０が動作したか否かを判定してもよい。例えば、機器３０が動作したことが外見上認識できる変化が電源ランプの点灯である場合には、画像全体の領域に対する電源ランプの領域の占める割合が小さいため、電源ランプが点灯してもそれらの画像の差分量が閾値を越えない場合がある。このような場合に、電源ランプの領域を予め設定しておけば、電源ランプが点灯することにより、電源ランプの領域における差分量が閾値より大きくなるため、機器３０が動作したと判定される。
Also, the
画像送信部２１５は、第１の画像データとともに又は第１の画像データに代えて、判定部２１８による判定結果を、通信部２３を介して通信端末１０に送信する。例えば、制御対象の機器３０が動作したと判定された場合には、機器３０が動作したことを示すメッセージが通信端末１０に送信される。この場合、通信端末１０の表示部１５には、制御装置２０から受信した判定結果が表示される。
The
本変形例によれば、制御装置２０により機器３０が動作したか否かが判定され、その判定結果が表示されるため、機器３０の動作状態を容易に認識することができる。
According to this modification, it is determined whether or not the
（３）上述した第１及び第２実施形態において、ユーザーにより複数の機器３０の操作を表す操作信号が入力された場合、信号送信部２１２は、これらの複数の機器３０に設定された設定時間の長さに応じた順番で複数の機器３０に制御信号を送信してもよい。
(3) In the first and second embodiments described above, when an operation signal representing the operation of the plurality of
例えば、信号送信部２１２は、設定された設定時間が短い機器から順番に複数の機器３０に制御信号を送信してもよい。ここでは、ユーザーにより、エアコンの電源をオンにする操作を表す操作信号Ｓ１と、照明を点ける操作を表す操作信号Ｓ２と、テレビの電源をオンにする操作を表す操作信号Ｓ３とがまとめて入力された場合を例に挙げて説明する。この場合、まず図５に示す制御テーブル２６１から、操作信号Ｓ１に対応する制御信号ｓ１と、操作信号Ｓ２に対応する制御信号ｓ２と、操作信号Ｓ３に対応する制御信号ｓ３とが読み出される。
For example, the
ここで、図５に示す制御テーブル２６１において、制御信号ｓ１に対応する設定時間は「５秒」であり、制御信号ｓ２に対応する設定時間は「１秒」であり、制御信号ｓ３に対応する設定時間は「３秒」である。この場合、最初に、設定時間が最も短い制御信号ｓ２が照明に向けて送信される。次に、設定時間が２番目に短い制御信号ｓ３がテレビに向けて送信される。最後に、設定時間が最も長い制御信号ｓ１がエアコンに向けて送信される。これにより、ユーザーにより複数の機器３０の操作を表す操作信号が入力されたときに、最初に撮影された機器３０の画像がユーザーに提示されるまでにかかる時間を短くすることができる。
Here, in the control table 261 shown in FIG. 5, the set time corresponding to the control signal s1 is “5 seconds”, the set time corresponding to the control signal s2 is “1 second”, and corresponds to the control signal s3. The set time is “3 seconds”. In this case, first, the control signal s2 having the shortest set time is transmitted toward the illumination. Next, the control signal s3 having the second shortest set time is transmitted to the television. Finally, the control signal s1 having the longest set time is transmitted to the air conditioner. Thereby, when the operation signal showing the operation of the plurality of
または、信号送信部２１２は、設定された設定時間が長い機器から順番に複数の機器３０に制御信号を送信してもよい。この場合、最初に、設定時間が最も長い制御信号ｓ１がエアコンに向けて送信される。次に、設定時間が２番目に長い制御信号ｓ３がテレビに向けて送信される。最後に、設定時間が最も短い制御信号ｓ２が照明に向けて送信される。これにより、ユーザーにより複数の機器３０の操作を表す操作信号が入力されたときに、これらの機器３０の画像が全て提示されるまでにかかる時間を短くすることができる。
Or the
（４）上述した第１及び第２実施形態において、制御装置２０は、車輪やキャタピラ、脚などの移動機構を備え、複数の部屋の間を移動してもよい。制御装置２０は、制御対象の機器３０が別の部屋に設置されている場合には、その部屋の定められた位置へと移動してからステップＳ１０２又はＳ２０２の処理を開始する。
(4) In 1st and 2nd embodiment mentioned above, the
（５）上述した第１及び第２実施形態では、通信端末１０が携帯電話やスマートフォン、タブレット端末である例について説明した。しかし、通信端末１０は、これらの端末に限定されず、例えばノート型パーソナルコンピュータであってもよい。
(5) 1st and 2nd embodiment mentioned above demonstrated the example whose
（６）上述した第１及び第２実施形態では、プロセッサ２１がプログラムを実行することにより、制御装置２０の機能が実現される例について説明した。しかし、制御装置２０の機能は、ＡＳＩＣ（application specific integrated circuit）により実現されてもよい。例えば、画像処理部２１６、設定部２１７又は判定部２１８がＡＳＩＣにより実現されてもよい。
(6) In the first and second embodiments described above, the example in which the function of the
（７）通信端末１０のプロセッサ１１及び制御装置２０のプロセッサ２１により実行されるプログラムは、インターネットなどの通信回線を介してダウンロードされてもよい。また、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。
(7) The program executed by the processor 11 of the
（８）上述した第１及び第２実施形態では、制御信号送信部２４は、赤外線を利用して、機器３０に制御信号を送信する例について説明した。しかし、制御信号送信部２４は、赤外線以外の光を利用して、機器３０に制御信号を送信してもよいし、電波を利用して、機器３０に制御信号を送信してもよい。
(8) In the first and second embodiments described above, the example in which the control
また、この変形例において、撮像部２５は、魚眼レンズを有し、水平方向に沿って３６０度の画角で画像を撮影してもよい。これにより、撮像部２５の向きを変えなくても、機器３０が設置された部屋全体の画像を撮影することができる。さらに、制御装置２０は、撮影された画像の座標を極座標変換して平面画像を生成し、この平面画像から機器３０を含む部分を切り出してもよい。この処理は、例えば第２実施形態で説明した画像処理部２１６が行ってもよい。この場合、機器３０を含む部分の画像を表す画像データが通信端末１０に送信される。
In this modification, the
この変形例によれば、駆動部２７及び回転台２８を用いなくても、機器３０に制御信号を送信し、機器３０の画像を撮影することができる。
According to this modification, a control signal can be transmitted to the
（９）上述した第１及び第２実施形態では、予め設定時間が設定される例について説明した。しかし、設定時間は、ネットワーク２に接続されたサーバー装置からダウンロードされ、制御テーブル２６１に格納されてもよい。このとき、制御装置２０は、機器３０の識別情報（型番等）をサーバー装置に送信することにより、その機器３０に対応する設定時間をダウンロードしてもよい。
(9) In the first and second embodiments described above, the example in which the set time is set in advance has been described. However, the set time may be downloaded from a server device connected to the
１ 遠隔操作システム、１０ 通信端末、２０ 制御装置、２１ プロセッサ、２２ メインメモリ、２３ 通信部、２４ 制御信号送信部、２５ 撮像部、２６ 記憶部、２７ 駆動部、２８ 回転台、１１１ 送信部、１１２ 受信部、１１３ 表示制御部、２１１ 信号受信部、２１２ 信号送信部、２１３ 駆動制御部、２１４ 撮像制御部、２１５ 画像送信部、２１６ 画像処理部、２１７ 設定部、２１８ 判定部
DESCRIPTION OF
Claims (5)
前記信号受信部により受信された前記操作信号に応じて、前記機器を制御する制御信号を当該機器に送信する信号送信部と、
前記信号送信部により前記制御信号が送信された時点から当該制御信号に対して設定された時間が経過したときに、前記機器の画像を撮影し、当該撮影した画像を表す第１の画像データを生成し、前記信号送信部が前記制御信号を送信する前に、前記機器の画像を撮影し、当該撮影した画像を表す第２の画像データを生成する撮像部と、
前記第１の画像データが表す画像と前記第２の画像データが表す画像との差分が強調されるように、前記第１の画像データに画像処理を施す画像処理部と、
前記画像処理部により前記画像処理が施された第１の画像データを前記通信端末に送信する画像送信部と
を備える制御装置。 A signal receiving unit that receives an operation signal representing the operation of the device from the communication terminal;
In response to the operation signal received by the signal receiver, a signal transmitter that transmits a control signal for controlling the device to the device;
When the time set for the control signal has elapsed from the time when the control signal is transmitted by the signal transmission unit, an image of the device is captured, and first image data representing the captured image is captured. An image capturing unit that generates and generates second image data representing the captured image by capturing an image of the device before the signal transmission unit transmits the control signal ;
An image processing unit that performs image processing on the first image data so that a difference between the image represented by the first image data and the image represented by the second image data is emphasized;
A control device comprising: an image transmission unit configured to transmit the first image data subjected to the image processing by the image processing unit to the communication terminal.
前記撮像部により撮影された前記複数の画像において、直前に撮影された画像との差分量が閾値より大きい画像を特定し、前記信号送信部により前記制御信号が送信された時点から当該特定した画像が撮影された時点までの時間を、当該制御信号に設定する設定部をさらに備える
請求項１に記載の制御装置。 The imaging unit continuously captures a plurality of images of the device in a predetermined period before and after the signal transmission unit transmits the control signal,
In the plurality of images captured by the imaging unit, an image having a difference amount from a previously captured image that is greater than a threshold value is identified, and the identified image from the time when the control signal is transmitted by the signal transmission unit The control device according to claim 1, further comprising: a setting unit that sets, in the control signal, a time until the time when the image is captured.
前記画像送信部は、前記第１の画像データとともに又は前記第１の画像データに代えて、前記判定部による判定結果を前記通信端末に送信する
請求項１又は２に記載の制御装置。 Before SL according to the difference between the first image and the second image data representing the image data represents an image, further comprising a determination unit which determines whether or not the device has operated,
The image transmission unit, the first with the image data or in place of the first image data, the control device according to the determination result by the determination section to claim 1 or 2 transmits to the communication terminal.
請求項１から３のいずれか１項に記載の制御装置。 When the signal transmission unit receives an operation signal representing an operation of a plurality of devices by the signal receiving unit, the plurality of devices in the order according to the length of time set in the plurality of devices. control device according to any one of claims 1 to 3 for transmitting a control signal to.
機器の操作を表す操作信号を通信端末から受信するステップと、
前記受信された操作信号に応じて、前記機器を制御する制御信号を当該機器に送信するステップと、
前記制御信号が送信された時点から当該制御信号に対して設定された時間が経過したときに、撮像部に前記機器の画像を撮影させ、当該撮影された画像を表す第１の画像データを生成するステップと、
前記制御信号が送信される前に、前記撮像部に前記機器の画像を撮影させ、当該撮影された画像を表す第２の画像データを生成するステップと、
前記第１の画像データが表す画像と前記第２の画像データが表す画像との差分が強調されるように、前記第１の画像データに画像処理を施すステップと、
前記画像処理が施された第１の画像データを前記通信端末に送信するステップと
を実行させるためのプログラム。 On the computer,
Receiving an operation signal representing the operation of the device from the communication terminal;
Transmitting a control signal for controlling the device to the device according to the received operation signal;
When a time set for the control signal elapses from the time when the control signal is transmitted, an image of the device is captured by the imaging unit, and first image data representing the captured image is generated. And steps to
Before the control signal is transmitted, causing the imaging unit to capture an image of the device, and generating second image data representing the captured image;
Applying image processing to the first image data such that a difference between the image represented by the first image data and the image represented by the second image data is enhanced;
Transmitting the first image data subjected to the image processing to the communication terminal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013109900A JP6159576B2 (en) | 2013-05-24 | 2013-05-24 | Control device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013109900A JP6159576B2 (en) | 2013-05-24 | 2013-05-24 | Control device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014230199A JP2014230199A (en) | 2014-12-08 |
| JP6159576B2 true JP6159576B2 (en) | 2017-07-05 |
Family
ID=52129647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013109900A Expired - Fee Related JP6159576B2 (en) | 2013-05-24 | 2013-05-24 | Control device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6159576B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105812538A (en) * | 2016-04-19 | 2016-07-27 | 上海斐讯数据通信技术有限公司 | Locking and unlocking system |
| CN109792822B (en) * | 2016-09-20 | 2021-07-20 | 昕诺飞控股有限公司 | Method and system for lighting control |
| JP7069883B2 (en) * | 2018-03-15 | 2022-05-18 | 株式会社リコー | Information processing system, information processing device, information processing method and program |
| JP6633139B2 (en) * | 2018-06-15 | 2020-01-22 | レノボ・シンガポール・プライベート・リミテッド | Information processing apparatus, program and information processing method |
| US11532220B2 (en) * | 2018-11-27 | 2022-12-20 | Tektronix, Inc. | System for test and measurement instrumentation data collection and exchange |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004096397A (en) * | 2002-08-30 | 2004-03-25 | Ntt Docomo Inc | Remote control method of electronic apparatus |
| JP2005175648A (en) * | 2003-12-09 | 2005-06-30 | Hitachi Ltd | Controller for electric apparatus |
| JP2006101281A (en) * | 2004-09-30 | 2006-04-13 | Sanyo Electric Co Ltd | House appliance control system and house appliance control apparatus |
-
2013
- 2013-05-24 JP JP2013109900A patent/JP6159576B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014230199A (en) | 2014-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6782229B2 (en) | Methods and equipment for operating intelligent electrical equipment | |
| CN106302057B (en) | Intelligent home equipment control method and device | |
| JP6130968B2 (en) | Smart terminal control method, apparatus, program, and storage medium | |
| CN104184944B (en) | Obtain method and the device of multimedia data stream | |
| JP6159576B2 (en) | Control device and program | |
| US9947191B2 (en) | Monitoring system | |
| KR20170023699A (en) | Video recording method and device | |
| US10043377B2 (en) | Monitoring system | |
| US10354678B2 (en) | Method and device for collecting sounds corresponding to surveillance images | |
| CN114200895A (en) | Device control method, device and storage medium | |
| US11074449B2 (en) | Method, apparatus for controlling a smart device and computer storge medium | |
| US20160148476A1 (en) | Monitoring system | |
| CN106973218B (en) | Shooting method of intelligent flying device and intelligent flying device | |
| CN104460329A (en) | Intelligent device connection method and device | |
| CN105549398B (en) | Control system and method for driving corresponding device at fixed time according to trigger strategy | |
| CN113240053A (en) | Camera detection method and device, storage medium and electronic equipment | |
| CN105206020B (en) | Remote controler matching method, apparatus and system | |
| US9705696B2 (en) | Monitoring system | |
| EP3892069B1 (en) | Determining a control mechanism based on a surrounding of a remote controllable device | |
| WO2017107539A1 (en) | Method, apparatus and system for access of smart household appliance to multiple servers | |
| JP2013138355A (en) | Display device and remote control system | |
| CN105100621B (en) | The method, apparatus and terminal of output shooting video | |
| CN112953796A (en) | Equipment state judgment method and device and storage medium | |
| CN104375641A (en) | Control method and electronic device | |
| JP6668519B1 (en) | Remote control function setting program, remote control server, remote control function setting method, mobile terminal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160219 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170612 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6159576 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |