JP2014020569A - Air conditioner - Google Patents
Air conditioner Download PDFInfo
- Publication number
- JP2014020569A JP2014020569A JP2012156075A JP2012156075A JP2014020569A JP 2014020569 A JP2014020569 A JP 2014020569A JP 2012156075 A JP2012156075 A JP 2012156075A JP 2012156075 A JP2012156075 A JP 2012156075A JP 2014020569 A JP2014020569 A JP 2014020569A
- Authority
- JP
- Japan
- Prior art keywords
- human body
- information
- unit
- imaging
- air conditioner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Air Conditioning Control Device (AREA)
Abstract
【課題】
人間は長時間同じ位置に留まることが困難である。一方、ポスター、フィギュアや家具の組み合わせの位置は変化しない。この違いに基づいて、ポスター、フィギュアや家具の組み合わせを人間と誤検知するのを防ぐ。
【解決手段】
室内機が設置される室内を撮像する撮像手段と、撮像手段で撮像された画像情報に基づいて人体を検出し、検出結果に応じて空調制御を行う制御手段と、を備え、制御手段は、画像情報に基づいて人体の有無及び人体の位置を含む人体情報を作成する人体判定手段と、人体情報に含まれる人体の位置が第1のセット数連続して設定範囲内にある人体を人体情報から除外し、人体修正情報を作成する人体情報修正手段と、人体修正情報に基づいて空調制御を行う空調制御手段と、を有する。
【選択図】図3【Task】
It is difficult for humans to stay in the same position for a long time. On the other hand, the position of the combination of posters, figures and furniture does not change. Based on this difference, it prevents false combinations of posters, figures and furniture.
[Solution]
An imaging unit that images a room in which the indoor unit is installed, and a control unit that detects a human body based on image information captured by the imaging unit and performs air-conditioning control according to the detection result. Human body determination means for creating human body information including presence / absence of a human body and the position of the human body based on the image information, and human body information in which the position of the human body included in the human body information is continuously within the set range for the first set number And a human body information correction unit that creates human body correction information, and an air conditioning control unit that performs air conditioning control based on the human body correction information.
[Selection] Figure 3
Description
本発明は、空気調和機及び空気調和機の制御方法に関する。 The present invention relates to an air conditioner and an air conditioner control method.
室内機が設置されている室内の人体を検出し、その検出結果を空調制御に反映させる空気調和機が知られている。 There is known an air conditioner that detects a human body in an indoor unit in which an indoor unit is installed and reflects the detection result in air conditioning control.
例えば、特許文献1には、撮像手段で測定した撮像から、人間相当の一定以上の大きさに基づいて人間を抽出する空気調和機が記載されている。特許文献1によれば、所定の大きさ以下のものを人間と誤検出するのを防止することができる。 For example, Patent Literature 1 describes an air conditioner that extracts a person from an image measured by an imaging unit based on a certain size equivalent to or more than a person. According to Patent Literature 1, it is possible to prevent erroneous detection of a human being having a predetermined size or less as a human.
しかしながら、人間の大きさは子供か大人かによって差がある。また、空気調和機からの距離によっても撮像される人間の大きさは変化する。従って、人体の大きさを基準とする特許文献1では、ポスター、フィギュアや家具等の所定の大きさ以上のものと、人間を十分に区別することができない。 However, human size varies depending on whether it is a child or an adult. In addition, the size of a person to be imaged varies depending on the distance from the air conditioner. Therefore, in Patent Document 1 based on the size of the human body, it is not possible to sufficiently distinguish a person from a poster, figure, furniture or the like having a predetermined size or more.
ところで、人間は長時間同じ位置に留まることが困難である。一方、ポスター、フィギュアや家具の組み合わせの位置は変化しない。 By the way, it is difficult for humans to stay at the same position for a long time. On the other hand, the position of the combination of posters, figures and furniture does not change.
そこで、本発明の空気調和機は、ポスター、フィギュアや家具等の所定の大きさ以上のものを人間と誤検知するのを防ぐことを目的とする。 Therefore, an object of the air conditioner of the present invention is to prevent erroneous detection of a poster, figure, furniture or the like having a predetermined size or more as a human being.
上記課題を解決するために、本発明は、室内機が設置される室内を撮像する撮像手段と、撮像手段で撮像された画像情報に基づいて人体を検出し、検出結果に応じて空調制御を行う制御手段と、を備え、制御手段は、画像情報に基づいて人体の有無及び人体の位置を含む人体情報を作成する人体判定手段と、人体情報に含まれる人体の位置が第1のセット数連続して設定範囲内にある人体を人体情報から除外し、人体修正情報を作成する人体情報修正手段と、人体修正情報に基づいて空調制御を行う空調制御手段と、を有する。 In order to solve the above-described problems, the present invention detects an human body based on an imaging unit that images a room in which an indoor unit is installed, and image information captured by the imaging unit, and performs air conditioning control according to the detection result. A human body determination unit that creates human body information including presence / absence of a human body and a position of the human body based on the image information, and the position of the human body included in the human body information is a first set number. Human body information correcting means for excluding human bodies in the set range continuously from the human body information and creating human body correction information, and air conditioning control means for performing air conditioning control based on the human body correction information.
本発明によれば、ポスター、フィギュアや家具の組み合わせを人間と誤検知することを防ぐことができる。 According to the present invention, it is possible to prevent erroneous detection of a combination of a poster, a figure, and furniture as a human being.
本発明の実施形態について、適宜図面を参照しながら詳細に説明する。なお、各図において共通する部分には同一の符号を付し、重複した説明を省略する。 Embodiments of the present invention will be described in detail with reference to the drawings as appropriate. In addition, the same code | symbol is attached | subjected to the common part in each figure, and the overlapping description is abbreviate | omitted.
図1は、本実施形態に係る空気調和機の室内機、室外機、及びリモコンの正面図である。図1に示すように、空気調和機Aは、室内機100と、室外機200と、リモコンReと、を備えている。室内機100と室外機200とは冷媒配管(図示せず)で接続され、周知の冷媒サイクルによって、室内機100が設置されている室内を空調する。また、室内機100と室外機200とは、通信ケーブル(図示せず)を介して互いに情報を送受信するようになっている。 FIG. 1 is a front view of an indoor unit, an outdoor unit, and a remote controller of an air conditioner according to the present embodiment. As shown in FIG. 1, the air conditioner A includes an indoor unit 100, an outdoor unit 200, and a remote controller Re. The indoor unit 100 and the outdoor unit 200 are connected by a refrigerant pipe (not shown), and air-conditions the room where the indoor unit 100 is installed by a known refrigerant cycle. The indoor unit 100 and the outdoor unit 200 transmit and receive information to and from each other via a communication cable (not shown).
リモコンReはユーザによって操作され、室内機100のリモコン受信部Qに対して赤外線信号を送信する。当該信号の内容は、運転要求、設定温度の変更、タイマ、運転モードの変更、停止要求などの指令である。空気調和機Aは、これらの信号に基づいて、冷房モード、暖房モード、除湿モードなどの空調運転を行う。 The remote controller Re is operated by the user and transmits an infrared signal to the remote control receiver Q of the indoor unit 100. The contents of the signal are commands such as an operation request, a change in set temperature, a timer, an operation mode change, and a stop request. The air conditioner A performs air conditioning operations such as a cooling mode, a heating mode, and a dehumidifying mode based on these signals.
また、室内機100の前面パネル106の左右方向中央の下部には、撮像手段110が設置されている。なお、撮像手段110の詳細については後記する。 In addition, an imaging unit 110 is installed at the lower part of the center in the left-right direction of the front panel 106 of the indoor unit 100. Details of the imaging unit 110 will be described later.
図2は、室内機の側断面図である。筐体ベース101は、熱交換器102、送風ファン103、フィルタ108などの内部構造体を収容している。 FIG. 2 is a side sectional view of the indoor unit. The housing base 101 houses internal structures such as the heat exchanger 102, the blower fan 103, and the filter 108.
熱交換器102は複数本の伝熱管102aを有し、送風ファン103により室内機100内に取り込まれた空気を、伝熱管102aを通流する冷媒と熱交換させ、前記空気を加熱又は冷却するように構成されている。なお、伝熱管102aは、前記した冷媒配管(図示せず)に連通し、周知の冷媒サイクル(図示せず)の一部を構成している。 The heat exchanger 102 includes a plurality of heat transfer tubes 102a, and heats the air taken into the indoor unit 100 by the blower fan 103 with a refrigerant flowing through the heat transfer tubes 102a to heat or cool the air. It is configured as follows. The heat transfer tube 102a communicates with the refrigerant pipe (not shown) and constitutes a part of a known refrigerant cycle (not shown).
左右風向板104は、室内機マイコン(図示せず)からの指示に従い、下部に設けた回動軸(図示せず)を支点にして左右風向板用モータ(図示せず)により回動される。 The left and right wind direction plates 104 are rotated by a left and right wind direction plate motor (not shown) using a rotation shaft (not shown) provided at the lower portion as a fulcrum according to an instruction from an indoor unit microcomputer (not shown). .
上下風向板105は、室内機マイコン(図示せず)からの指示に従い、両端部に設けた回動軸(図示せず)を支点にして上下風向板用モータ(図示せず)により回動される。 The vertical wind direction plate 105 is rotated by a vertical wind direction plate motor (not shown) using pivot shafts (not shown) provided at both ends as fulcrums according to instructions from an indoor unit microcomputer (not shown). The
前面パネル106は、室内機100の前面を覆うように設置されており、下端を軸として前面パネル用モータ(図示せず)により回動可能な構成となっている。ちなみに、前面パネル106を、下端に固定されるものとして構成してもよい。 The front panel 106 is installed so as to cover the front surface of the indoor unit 100, and is configured to be rotatable by a front panel motor (not shown) with the lower end as an axis. Incidentally, you may comprise the front panel 106 as what is fixed to a lower end.
図2に示す送風ファン103が回転することによって、空気吸込み口107及びフィルタ108を介して室内空気を取り込み、熱交換器102で熱交換された空気が吹出し風路109aに導かれる。さらに、吹出し風路109aに導かれた空気は、左右風向板104及び上下風向板105によって風向きを調整され、空気吹出し口109bから外部に送り出されて室内を空調する。 When the blower fan 103 shown in FIG. 2 rotates, the indoor air is taken in through the air suction port 107 and the filter 108, and the air heat-exchanged by the heat exchanger 102 is guided to the blowout air passage 109a. Further, the air guided to the blowout air passage 109a is adjusted in air direction by the left and right airflow direction plates 104 and the vertical airflow direction plate 105, and is sent to the outside from the air blowing port 109b to air-condition the room.
図3は、空気調和機が備える制御手段を含む構成を示すブロック図である。撮像手段110は、例えば、CCD(Charge Coupled Device)カメラであり、前記したように、前面パネル106の左右方向中央の下部に設置されている(図1参照)。また、撮像手段110は、レンズの光軸が水平線に対して所定角度だけ下方を向くように設置され、室内機100が設置されている室内を適切に撮像できるようになっている。また、撮像手段110は、空調室内を経時的に撮像して、撮像した画像を画像情報としてA/D変換器(図示せず)に出力する。 FIG. 3 is a block diagram showing a configuration including control means provided in the air conditioner. The imaging means 110 is, for example, a CCD (Charge Coupled Device) camera, and is installed at the lower part of the center of the front panel 106 in the left-right direction as described above (see FIG. 1). The imaging unit 110 is installed such that the optical axis of the lens is directed downward by a predetermined angle with respect to the horizontal line, so that the room in which the indoor unit 100 is installed can be appropriately imaged. Further, the imaging unit 110 captures the air-conditioned room over time and outputs the captured image as image information to an A / D converter (not shown).
A/D変換器(図示せず)は、撮像手段110からアナログ信号として入力される画像情報をデジタル信号に変換し、人体判定手段111に出力する電子回路である。なお、A/D変換器(図示せず)を撮像手段110に内蔵することとしてもよい。 The A / D converter (not shown) is an electronic circuit that converts image information input as an analog signal from the imaging unit 110 into a digital signal and outputs the digital signal to the human body determination unit 111. An A / D converter (not shown) may be built in the imaging unit 110.
制御手段(図示せず)は、人体判定手段111と、人体情報修正手段112と、空調制御手段113と、休止期間114を備えている。 The control means (not shown) includes a human body determination means 111, a human body information correction means 112, an air conditioning control means 113, and a pause period 114.
人体判定手段111は、撮像手段110による処理がN回実行されたときに、人体の有無及び人体の位置を検出する。 The human body determination unit 111 detects the presence of the human body and the position of the human body when the process by the imaging unit 110 is executed N times.
人体判定手段111は、撮像手段110で検出した人体の顔の大きさに基づいて遠近方向における人体の位置を検出し、撮像手段110で検出した人体の顔の中心位置に基づいて左右方向における人体の位置を検出する。 The human body determination unit 111 detects the position of the human body in the perspective direction based on the size of the human face detected by the imaging unit 110, and the human body in the left-right direction based on the center position of the human body face detected by the imaging unit 110. The position of is detected.
人体判定手段111は、A/D変換器(図示せず)から入力される画像情報に基づいて、人体の頭部を含む人体を検出し、P回以上連続して同じエリアで人体を検出したときに当該位置に人体がいると判定する。 The human body determination unit 111 detects a human body including the head of the human body based on image information input from an A / D converter (not shown), and detects a human body in the same area continuously P times or more. Sometimes it is determined that there is a human body at the position.
本実施例では、撮像手段110による処理を14回繰り返す。そして、14枚の撮像の中で、4枚以上同じエリアで人体を検出したときに、当該位置に人体がいると判断する。 In the present embodiment, the processing by the imaging unit 110 is repeated 14 times. Then, when a human body is detected in the same area in four or more images among the 14 images, it is determined that there is a human body at the position.
14枚の画像情報の中で、出現率の低い(例:14枚中3枚で検出された人体)人体はノイズ(例:テレビに映っている人)と判断する。 Among the 14 pieces of image information, a human body having a low appearance rate (eg, a human body detected in 3 out of 14 pieces) is determined as noise (eg, a person shown on a television).
ちなみに、「頭部を含む人体を検出する」とは、頭部(頭領域)、肩部(肩領域)、及び足部(足領域)を含む全身を検出する場合を含んでいる。 Incidentally, “detecting a human body including a head” includes a case where the whole body including a head (head region), a shoulder (shoulder region), and a foot (foot region) is detected.
そして、人体判定手段111がS回連続して人体を検出しないときは、人体が不在であると確定する。 And when the human body determination means 111 does not detect a human body S times continuously, it determines that a human body is absent.
人体判定手段111がS回連続して人体を検出しないときに、運転を停止、又は、設定温度を変更する。 When the human body determination unit 111 does not detect the human body S times consecutively, the operation is stopped or the set temperature is changed.
本実施例では、人体判定手段111が33回連続して同じである場合に、人体は不在であると確定する。一時的な退室や入室による制御の頻繁な変更とそれに伴う室内温熱環境の悪化を防ぐことができる。 In this embodiment, when the human body determination unit 111 is the same 33 times continuously, it is determined that the human body is absent. It is possible to prevent frequent changes in control due to temporary leaving or entering the room and the accompanying deterioration of the indoor thermal environment.
また、14枚中4枚以下で人体を検出することが33回連続した場合に、人体が不在であると確定する。従って、誤検出により数枚の画像情報から人体を検出した場合であっても、不在運転を実行及び継続することができる。
つまり、人体の検出結果を二段階に分けてカウントすることで、人体がいないにもかかわらず人体がいると誤検出する場合、及び、人体がいるにもかかわらず人体がいないと誤検出する場合の両方の誤検出を低減することができる。
Further, when the human body is detected 33 times or less in 4 or less of 14 sheets, it is determined that the human body is absent. Therefore, even when a human body is detected from several pieces of image information due to erroneous detection, the absent driving can be executed and continued.
In other words, by counting the detection results of the human body in two stages, when erroneously detecting that there is a human body despite the absence of a human body, and when erroneously detecting that there is no human body despite the presence of a human body Both false detections can be reduced.
人体情報修正手段112は、人体判定手段111で検出した位置が設定回数連続して設定範囲内にある人体を除外する。 The human body information correction unit 112 excludes human bodies whose positions detected by the human body determination unit 111 are within the set range for a set number of times.
人間は長時間同じ位置に留まることが困難である。一方、ポスター、フィギュアや家具の組み合わせの位置は変化しない。そこで、人体情報修正手段112は、所定回数連続して設定範囲内で人体を検知したときは、ポスター、フィギュアや家具の組み合わせであると判断し、人体から除外する。 It is difficult for humans to stay in the same position for a long time. On the other hand, the position of the combination of posters, figures and furniture does not change. Therefore, when the human body information correcting unit 112 detects a human body within a set range continuously for a predetermined number of times, the human body information correcting unit 112 determines that it is a combination of a poster, a figure, and furniture and excludes it from the human body.
空調制御手段113は、人体判定手段111がP回連続して同じエリアで人体を検出したときは、検出された人体の位置に基づいて、上下風向板105に設置される上下風向板用モータ(図示せず)、左右風向板104に設置される左右風向板用モータ(図示せず)の設定位置を変更する。 When the human body determination unit 111 detects the human body in the same area P times consecutively, the air conditioning control unit 113 detects the vertical wind direction plate motor (installed on the vertical wind direction plate 105 based on the detected position of the human body ( The setting position of the motor for left and right wind direction plates (not shown) installed on the left and right wind direction plates 104 is changed.
本実施例では、人体判定手段111が2回連続して同じ位置で人体を検出した場合に、当該位置に人体がいると確定する。 In this embodiment, when the human body determination unit 111 detects a human body at the same position twice in succession, it is determined that there is a human body at the position.
あらかじめ風を当てる運転が選択されている場合は、当該位置に風が届くように上下風向板105、左右風向板104を向ける。一方、あらかじめ風を避ける運転が選択されている場合は、当該位置に風が届かないように上下風向板105、左右風向板104を制御する。 When the operation to apply wind is selected in advance, the up / down wind direction plate 105 and the left / right wind direction plate 104 are directed so that the wind reaches the position. On the other hand, when the operation for avoiding wind is selected in advance, the up / down wind direction plate 105 and the left / right wind direction plate 104 are controlled so that the wind does not reach the position.
また、人体を二人以上検出した場合、風当ての場合、左右方向は、人のいる最も右側のエリアと最も左側のエリアの間をスイングする。風当ての場合、前後方向は、人のいる最も遠いエリアと最も近いエリアの間をスイングする。風避けの場合、左右方向も前後方向も、人のいるエリアの隣のエリアで、両側のうち広い方向に吹く。不在の場合、風向を変更しない。 When two or more human bodies are detected, in the case of wind blowing, the left-right direction swings between the rightmost area and the leftmost area where people are present. In the case of wind blowing, the front-rear direction swings between the farthest area where people are and the nearest area. In the case of wind avoidance, it blows in the wide direction of both sides in the area next to the area where people are present in both the left and right direction and the front and rear direction. In the absence, the wind direction is not changed.
一方、人体判定手段111がS回連続して人体を検出しないときは、空調制御手段113は、室外機200が備える圧縮機モータ(図示せず)を停止、又は、回転数を減らす制御等を行う。 On the other hand, when the human body determination unit 111 does not detect the human body S times consecutively, the air conditioning control unit 113 performs control to stop the compressor motor (not shown) included in the outdoor unit 200 or reduce the rotational speed. Do.
また、人体判定手段111がS回連続して人体を検出しないときは14枚の撮像ごとに休止期間114撮像を休止する。本実施例では5分間撮像を休止する。休止期間114を設けることにより、撮像手段110による処理回数を減らし、不在時における撮像手段110によるエネルギー消費量を削減することができる。 In addition, when the human body determination unit 111 does not detect the human body S times consecutively, the imaging in the pause period 114 is paused every 14 images. In this embodiment, imaging is paused for 5 minutes. By providing the pause period 114, it is possible to reduce the number of processes by the imaging unit 110 and to reduce the energy consumption by the imaging unit 110 when it is absent.
また、人体判定手段111がS回連続して人体を検出しないときはS回を1に変更する。休止期間114が経過した後に、人体判定手段111で再度人体がいないと判断された場合、S回は1であるため、すぐに休止期間114に移行する。 Further, when the human body determination unit 111 does not detect the human body S times continuously, the S times is changed to 1. When the human body determination unit 111 determines that there is no human body again after the pause period 114 has elapsed, since the S times is 1, the process immediately shifts to the pause period 114.
また、休止期間114を設けた場合としても、撮像手段110による撮像は定期的に行われるため、人が部屋に戻ってきた時に、通常の空調運転に復帰することはできる。また、14枚の撮像は連続的に行われるため、出現率の低い人体をノイズと判断するノイズ判定は継続することができる。 Further, even when the pause period 114 is provided, since the imaging by the imaging unit 110 is performed periodically, it is possible to return to the normal air conditioning operation when a person returns to the room. In addition, since 14 images are continuously captured, it is possible to continue noise determination for determining a human body having a low appearance rate as noise.
なお、人体判定手段111で人体がいると判断された場合は、S回を1から元の値に戻す。 If the human body determination unit 111 determines that there is a human body, the S times are returned from 1 to the original value.
また、人体判定手段111の検出結果を移動量算出手段(図示せず)に使用してもよい。移動量算出手段は、人体判定手段111によって検出される人体の位置及び大きさの経時的変化に基づいて、ラベリング値で対応付けられる人体の移動量を算出する。そして、移動量算出手段による処理を3回実行し、3回分の移動量の平均値に基づいて人体の移動量を算出して、設定温度を変更する。
Further, the detection result of the human body determination unit 111 may be used for a movement amount calculation unit (not shown). The movement amount calculation unit calculates the movement amount of the human body associated with the labeling value based on the temporal change in the position and size of the human body detected by the human body determination unit 111. Then, the process by the movement amount calculation means is executed three times, the movement amount of the human body is calculated based on the average value of the movement amounts for the three times, and the set temperature is changed.
記憶手段(図示せず)は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)などによって構成され、制御手段130による処理を記憶する。そして、ROMに記憶されたプログラムが制御手段130のCPU(Central Processing Unit)によって読み出されてRAMに展開され、実行される。 The storage means (not shown) is constituted by, for example, a ROM (Read Only Memory), a RAM (Random Access Memory), etc., and stores the processing by the control means 130. Then, the program stored in the ROM is read out by a CPU (Central Processing Unit) of the control means 130, expanded in the RAM, and executed.
次に、図4を用いて、人体の左右方向の位置の検出方法を説明する。図4は、撮像手段110から出力されるフル画素を3分割した情報である。 Next, a method for detecting the position of the human body in the left-right direction will be described with reference to FIG. FIG. 4 shows information obtained by dividing the full pixel output from the imaging unit 110 into three.
人体判定手段111は、室内を複数のエリアに分割し、撮像手段110から入力される画像情報に基づいて人体が位置するエリアを検出する。 The human body determination unit 111 divides the room into a plurality of areas and detects an area where the human body is located based on image information input from the imaging unit 110.
本実施例では、人体の顔の中心位置を基準にして人体の位置を判定する。そのため、図4は、人体Aは中央の位置に、人体Bは左の位置に、人体Cは右の位置に、人体Dは左の位置にいると判断する。なお、フル画素を3分割する場合について説明したが、6分割や他の分割数としてもよい。 In this embodiment, the position of the human body is determined based on the center position of the human body face. Therefore, FIG. 4 determines that the human body A is in the center position, the human body B is in the left position, the human body C is in the right position, and the human body D is in the left position. Although the case where the full pixel is divided into three has been described, six divisions or other division numbers may be used.
図5を用いて、人体の遠近方向の位置の検出方法を説明する。図5(a)は、移動前の人体と、レンズと、撮像面との位置関係を示す説明図であり、図5(b)は移動後の人体と、レンズと、撮像面との位置関係を示す説明図である。 A method of detecting the position of the human body in the perspective direction will be described with reference to FIG. FIG. 5A is an explanatory diagram showing the positional relationship between the human body before movement, the lens, and the imaging surface, and FIG. 5B is the positional relationship between the human body after movement, the lens, and the imaging surface. It is explanatory drawing which shows.
人体判定手段111は、撮像手段110の撮像面pでの顔の像の横幅Pを算出する。ちなみに、顔の像の横幅Pは、顔の像の横方向の最大画素数に1画素当たりの横幅を乗算することで算出できる。 The human body determination unit 111 calculates the width P of the face image on the imaging surface p of the imaging unit 110. Incidentally, the width P of the face image can be calculated by multiplying the maximum number of pixels in the horizontal direction of the face image by the width per pixel.
人体判定手段111は、撮像面pでの顔(又は頭部)の横幅を用いて、(式1)を用いて、人体の遠近方向の位置を算出する。 The human body determination unit 111 calculates the position of the human body in the perspective direction using (Equation 1) using the width of the face (or head) on the imaging surface p.
符号Dは人体からレンズgまでの距離であり、符号Pは撮像面pの顔の像の横幅であり、符号Fはレンズgから撮像面pまでの距離である。符号Hは人体の顔(又は頭部)の横幅であり、所定値として予め記憶手段140に格納されている。 Reference sign D is the distance from the human body to the lens g, reference sign P is the lateral width of the face image on the imaging surface p, and reference sign F is the distance from the lens g to the imaging surface p. Symbol H is the width of the human body's face (or head), and is stored in the storage means 140 in advance as a predetermined value.
このように人体判定手段111は、人体の左右方向の位置、及び、遠近方向の位置を判定することで、人体の位置を正確に算出できる。 As described above, the human body determination unit 111 can accurately calculate the position of the human body by determining the position of the human body in the left-right direction and the position in the perspective direction.
そして、検出した人体の位置に基づいて、人体の左右方向の位置、及び、遠近方向の位置の変化に基づいて、ポスター等か人間かを判断することができる。 Based on the detected position of the human body, it is possible to determine whether the human body is a poster or the like based on the change in the horizontal position and the perspective position of the human body.
また、人体の左右方向の位置、及び、遠近方向の位置をそれぞれ3分割した場合において、どの位置にエリアに人体がいるか判定して、上下風向板105、左右風向板104の設定位置を変える。 In addition, when the position of the human body in the left-right direction and the position in the perspective direction are each divided into three, it is determined at which position the human body is in the area, and the set positions of the up-down wind direction plate 105 and the left-right wind direction plate 104 are changed.
さらに、不在判定において、例えば14枚中3枚で検出された人体をノイズと判断する場合、14枚の画像情報を分割数で割った数が3枚より大きくなるようにしている。不在判定における分割数を制限することで、人体が室内を動き回っている場合にも、どこかのエリアでは4枚以上で人体を検出できるようにすることができる。 Further, in the absence determination, for example, when it is determined that the human body detected in 3 out of 14 is noise, the number obtained by dividing the 14 pieces of image information by the number of divisions is larger than 3. By limiting the number of divisions in the absence determination, it is possible to detect four or more human bodies in any area even when the human body moves around the room.
また、撮像面pの顔の像の横幅P1から、移動前の人体の人体からレンズgまでの距離D1を算出することができる。一方、撮像面pの顔の像の横幅P2から、移動後の人体の人体からレンズgまでの距離D2を算出することができる。そして、移動後の人体の人体からレンズgまでの距離D2と移動前の人体の人体からレンズgまでの距離D1から人体の遠近方向の移動量を算出することができる。 Further, the distance D 1 from the human body to the lens g before the movement can be calculated from the lateral width P 1 of the face image on the imaging surface p. On the other hand, the distance D 2 from the human body after movement to the lens g can be calculated from the lateral width P 2 of the face image on the imaging surface p. Then, the moving amount of the human body in the perspective direction can be calculated from the distance D 2 from the human body after movement to the lens g and the distance D 1 from the human body to lens g before the movement.
なお、音センサを備え、音センサの出力から、音が大きいときは活動量も大きいと判断して、移動量算出手段で算出した活動量を補正して、精度を高めてもよい。また、音センサの出力から、音が大きいときは不在ではないと判断し、人体判定手段111による検出結果を補正して、精度を高めてもよい。 Note that a sound sensor may be provided, and it may be determined from the output of the sound sensor that the amount of activity is large when the sound is loud, and the amount of activity calculated by the movement amount calculation means is corrected to improve accuracy. Further, from the output of the sound sensor, when the sound is loud, it may be determined that it is not absent, and the detection result by the human body determination unit 111 may be corrected to improve the accuracy.
撮像手段110によって間取りを検出し、風除け時に壁に向けて吹き出さないようにして、壁が冷えて壁表面や壁内部に結露するのを防止してもよい。また、据付時の据付位置設定から、風除け時に壁に向けて吹き出さないようにしてもよい。 The floor plan may be detected by the image pickup means 110 and may not be blown toward the wall during windbreak to prevent the wall from cooling and condensing on the wall surface or inside the wall. Further, from the installation position setting at the time of installation, it may be prevented from blowing toward the wall at the time of windbreak.
また、CO2センサの出力から、高濃度時には人数も多いと判断して、人体判定手段111の人数判定を補正してもよい。 Further, from the output of the CO 2 sensor, it may be determined that the number of people is large when the concentration is high, and the number determination of the human body determination unit 111 may be corrected.
また、所定の期間(例えば1時間)同一の位置に存在する場合、その人体がポスターや人形など人体と検出される特徴を併せ持つ人体以外の要素と判断し、人体として扱わない。なお、ポスターや人形など人体と検出される特徴を併せ持つ人体以外の要素を記憶し、検出結果から除いてもよい。 Further, if the human body exists at the same position for a predetermined period (for example, 1 hour), the human body is determined as an element other than a human body having a feature that is detected as a human body such as a poster or a doll, and is not treated as a human body. It should be noted that elements other than the human body having characteristics detected with the human body, such as posters and dolls, may be stored and excluded from the detection result.
このような処理によって、人体と検出される特徴を持つ要素を人体と判断する誤動作を防ぐことができる。 By such processing, it is possible to prevent a malfunction in which an element having a feature detected as a human body is determined as a human body.
また、撮像手段110が室内機100の前面パネル106の左右方向中央の下部に一台設置する場合について説明したが、これに限らない。例えば、撮像手段110を前面パネル106の右側又は左側に設置してもよい。 Moreover, although the case where one imaging means 110 was installed in the lower part of the center of the left-right direction of the front panel 106 of the indoor unit 100 was demonstrated, it is not restricted to this. For example, the imaging unit 110 may be installed on the right side or the left side of the front panel 106.
また、前面パネル106に複数の撮像手段110を設置することとしてもよい。 Further, a plurality of image pickup means 110 may be installed on the front panel 106.
また、撮像手段110は駆動手段(図示せず)によって駆動される構造としてもよい。
例えば、撮像手段110は駆動手段としてのステッピングモータの軸と接続されており、モータの運転により所定の角度の範囲内で往復する。この場合、モータは、所定の角度の範囲内を複数に分割したエリア毎に撮像のため停止し、撮像後は次のエリアへ撮像手段110を向けるために運転を再開する。なお、撮像手段110の駆動の速さに比較して撮像に要する時間が十分に短い場合、ステッピングモータは連続して運転してもよい。
The imaging unit 110 may be configured to be driven by a driving unit (not shown).
For example, the imaging unit 110 is connected to a shaft of a stepping motor as a driving unit, and reciprocates within a predetermined angle range by operating the motor. In this case, the motor stops for imaging for each area obtained by dividing the range of the predetermined angle into a plurality of areas, and after the imaging, the operation is resumed to direct the imaging means 110 to the next area. Note that if the time required for imaging is sufficiently short compared to the driving speed of the imaging means 110, the stepping motor may be operated continuously.
これにより、視野角の狭く安価な撮像手段110を使用することが可能となる。また、エリア毎の照度や輝度に合わせてノイズの除去や顔検出、人体検出などの画像の処理を変更することで、より高い精度で顔検出や人体検出、それらに基づく位置と活動量の推定を行うことが可能となる。さらに、視野角の狭く安価な撮像手段110を複数個搭載することによるコストアップを避けることと、複数個の撮像手段110の設置スペースを確保することによる室内機の大型化を避けることが可能となる。 This makes it possible to use the imaging means 110 with a narrow viewing angle and inexpensive. Also, by changing the image processing such as noise removal, face detection, human body detection, etc. according to the illuminance and luminance for each area, face detection and human body detection with higher accuracy, position and activity estimation based on them Can be performed. Furthermore, it is possible to avoid an increase in cost by mounting a plurality of inexpensive imaging means 110 having a narrow viewing angle, and to avoid an increase in the size of the indoor unit by securing an installation space for the plurality of imaging means 110. Become.
また、在室者情報表示部(図示せず)に人体判定手段111で検出した人体の数を表示することで、制御内容を在室者が知ることができ、どのような制御をしているのか示さない場合に比べて制御に対する不安を払しょくすることできる。 In addition, by displaying the number of human bodies detected by the human body determination unit 111 on the occupant information display unit (not shown), the occupants can know the control contents and what kind of control is performed. Compared with the case where it is not shown, it is possible to relieve control.
また、在室者情報表示部に人体の数を表示することで、実際の人体の数と在室者情報表示部に表示される人体の数が違う場合、在室者が人体判定手段111の特性(どのような人体を検出できて、どのような人体を検出できないのか)を知ることができ、どのような制御をしているのか示さない場合に比べて制御に対する不安を払しょくすることできる。在室者の位置を表示する場合についても同じことがいえる。 In addition, by displaying the number of human bodies on the occupant information display unit, if the actual number of human bodies and the number of human bodies displayed on the occupant information display unit are different, the occupants of the human body determination unit 111 It is possible to know the characteristics (what kind of human body can be detected and what kind of human body cannot be detected), and to be more worried about control than when not showing what kind of control it is doing . The same can be said for the case where the position of the occupant is displayed.
以上説明した通り、本発明の空気調和機は、室内機100が設置される室内を撮像する撮像手段110と、撮像手段110で撮像された画像情報に基づいて人体を検出し、検出結果に応じて空調制御を行う制御手段と、を備え、制御手段は、画像情報に基づいて人体の有無及び人体の位置を含む人体情報を作成する人体判定手段111と、人体情報に含まれる人体の位置が第1のセット数連続して設定範囲内にある人体を人体情報から除外し、人体修正情報を作成する人体情報修正手段112と、人体修正情報に基づいて空調制御を行う空調制御手段113と、を有する。 As described above, the air conditioner of the present invention detects the human body based on the imaging unit 110 that images the room in which the indoor unit 100 is installed, and the image information captured by the imaging unit 110, and according to the detection result. Control means for performing air-conditioning control, and the control means includes a human body determination means 111 for creating human body information including presence / absence of a human body and a position of the human body based on image information, and a position of the human body included in the human body information. A human body information correcting unit 112 that excludes human bodies in the set range continuously from the first set number and creates human body correction information; an air conditioning control unit 113 that performs air conditioning control based on the human body correction information; Have
また、本発明の空気調和機は、人体判定手段111は、撮像手段110が室内を第1の設定回数撮像した時に、画像情報に基づいて人体の有無を判定し、第1の設定回数のうち第2の設定回数以上人体を検出した場合は人体がいると判定し、第1の設定回数のうち第2の設定回数未満人体を検出した場合は人体がいないと判定する。 In the air conditioner of the present invention, the human body determination unit 111 determines the presence or absence of a human body based on the image information when the imaging unit 110 images the room for the first set number of times, and out of the first set number of times. When a human body is detected more than the second set number of times, it is determined that there is a human body, and when a human body is detected that is less than the second set number of times among the first set number of times, it is determined that there is no human body.
また、本発明の空気調和機は、人体判定手段111は、撮像手段110が検出した人体の顔の大きさに基づいて遠近方向における人体の位置を検出する。 In the air conditioner of the present invention, the human body determination unit 111 detects the position of the human body in the perspective direction based on the size of the human face detected by the imaging unit 110.
また、本発明の空気調和機は、人体判定手段111は、撮像手段110が検出した人体の顔の大きさが設定値以下である人体を、人体判定手段111で取得した人体情報から除外する。 In the air conditioner of the present invention, the human body determination unit 111 excludes the human body whose face size detected by the imaging unit 110 is equal to or less than the set value from the human body information acquired by the human body determination unit 111.
また、本発明の空気調和機は、人体判定手段111が第2のセット数連続して人体はいないと判定した場合、撮像手段110による撮像を休止期間114休止し、且つ、第2のセット数を1とする。 Further, in the air conditioner of the present invention, when the human body determination unit 111 determines that there is no human body continuously for the second set number, the imaging unit 110 stops the imaging for the pause period 114 and the second set number Is 1.
また、本発明の空気調和機は、空調制御手段113は、人体情報に含まれる人体の数に基づいて、圧縮機モータの回転数、又は、室内の設定温度を変更する。 In the air conditioner of the present invention, the air conditioning control unit 113 changes the rotation speed of the compressor motor or the set temperature in the room based on the number of human bodies included in the human body information.
A 空気調和機
Re リモコン
100 室内機
200 室外機
104 左右風向板
105 上下風向板
110 撮像手段
111 人体判定手段
112 人体情報修正手段
113 空調制御手段
114 休止期間
A Air conditioner Re Remote controller 100 Indoor unit 200 Outdoor unit 104 Left and right wind direction plate 105 Vertical wind direction plate 110 Imaging means 111 Human body determination means 112 Human body information correction means 113 Air conditioning control means 114 Rest period
Claims (6)
前記撮像手段で撮像された画像情報に基づいて人体を検出し、検出結果に応じて空調制御を行う制御手段と、を備え、
前記制御手段は、
前記画像情報に基づいて人体の有無及び人体の位置を含む人体情報を作成する人体判定手段と、
前記人体情報に含まれる人体の位置が第1のセット数連続して設定範囲内にある人体を前記人体情報から除外し、人体修正情報を作成する人体情報修正手段と、
前記人体修正情報に基づいて空調制御を行う空調制御手段と、を有する空気調和機。 Imaging means for imaging the room in which the indoor unit is installed;
A control unit that detects a human body based on image information captured by the imaging unit and performs air-conditioning control according to a detection result;
The control means includes
Human body determination means for creating human body information including the presence of the human body and the position of the human body based on the image information;
Human body information correction means for excluding human bodies whose human body positions included in the human body information are within a setting range for the first set number continuously from the human body information and creating human body correction information;
An air conditioner having air conditioning control means for performing air conditioning control based on the human body correction information.
前記第1の設定回数のうち第2の設定回数以上人体を検出した場合は人体がいると判定し、前記第1の設定回数のうち前記第2の設定回数未満人体を検出した場合は人体がいないと判定することを特徴とする請求項1に記載の空気調和機。 The human body determination means determines the presence or absence of a human body based on the image information when the imaging means images the room for the first set number of times.
When the human body is detected more than the second set number of times in the first set number of times, it is determined that there is a human body. When the human body is detected less than the second set number of times in the first set number of times, the human body is determined. It is determined that there is no air conditioner according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012156075A JP5879221B2 (en) | 2012-07-12 | 2012-07-12 | Air conditioner |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012156075A JP5879221B2 (en) | 2012-07-12 | 2012-07-12 | Air conditioner |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2014020569A true JP2014020569A (en) | 2014-02-03 |
| JP2014020569A5 JP2014020569A5 (en) | 2014-10-09 |
| JP5879221B2 JP5879221B2 (en) | 2016-03-08 |
Family
ID=50195682
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012156075A Active JP5879221B2 (en) | 2012-07-12 | 2012-07-12 | Air conditioner |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5879221B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015203504A (en) * | 2014-04-10 | 2015-11-16 | 三菱電機株式会社 | Indoor equipment of air conditioner |
| JP2016114283A (en) * | 2014-12-15 | 2016-06-23 | シャープ株式会社 | Ion generator |
| JP2016173214A (en) * | 2015-03-17 | 2016-09-29 | ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー(ホンコン)リミテッド | Air conditioner |
| JP2020008310A (en) * | 2018-07-03 | 2020-01-16 | 株式会社Soken | Object detecting device |
| CN111094863A (en) * | 2017-07-07 | 2020-05-01 | 三菱重工制冷空调系统株式会社 | Air conditioning control device, environment setting terminal, air conditioning control method, and program |
| CN112276174A (en) * | 2020-10-15 | 2021-01-29 | 东风汽车集团有限公司 | Control method for volume machining of engine cylinder head combustion chamber based on optics and feedback |
| US11195298B2 (en) | 2018-02-05 | 2021-12-07 | Canon Kabushiki Kaisha | Information processing apparatus, system, method for controlling information processing apparatus, and non-transitory computer readable storage medium |
| CN115435464A (en) * | 2021-06-02 | 2022-12-06 | 美的集团股份有限公司 | Control method of integrated refrigeration stove, integrated refrigeration stove and readable storage medium |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109974079A (en) * | 2019-03-27 | 2019-07-05 | 张同庆 | A kind of building HVAC intelligence control system |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07103551A (en) * | 1993-10-08 | 1995-04-18 | Mitsubishi Electric Corp | Air conditioner control device |
| JPH08178390A (en) * | 1994-12-22 | 1996-07-12 | Sharp Corp | Human body activity amount calculation device, human body activity amount clothing amount calculation device, air conditioner equipped therewith, and human body abnormality notification device |
| JP2007057106A (en) * | 2005-08-22 | 2007-03-08 | Jr Higashi Nippon Consultants Kk | Automatic operation control system for air conditioner |
| JP2007280167A (en) * | 2006-04-10 | 2007-10-25 | Mitsubishi Electric Corp | Air conditioner |
| JP2009014259A (en) * | 2007-07-04 | 2009-01-22 | Mitsubishi Electric Corp | Air conditioner |
| JP2009186138A (en) * | 2008-02-08 | 2009-08-20 | Panasonic Corp | Air conditioner |
| JP2010159887A (en) * | 2009-01-06 | 2010-07-22 | Mitsubishi Electric Corp | Air conditioning device |
| JP2011080625A (en) * | 2009-10-05 | 2011-04-21 | Panasonic Corp | Air conditioner |
| US8136738B1 (en) * | 2004-04-27 | 2012-03-20 | Energy Eye, Inc. | Control system for electrical appliances |
| US20120072032A1 (en) * | 2010-09-22 | 2012-03-22 | Powell Kevin J | Methods and systems for environmental system control |
-
2012
- 2012-07-12 JP JP2012156075A patent/JP5879221B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07103551A (en) * | 1993-10-08 | 1995-04-18 | Mitsubishi Electric Corp | Air conditioner control device |
| JPH08178390A (en) * | 1994-12-22 | 1996-07-12 | Sharp Corp | Human body activity amount calculation device, human body activity amount clothing amount calculation device, air conditioner equipped therewith, and human body abnormality notification device |
| US8136738B1 (en) * | 2004-04-27 | 2012-03-20 | Energy Eye, Inc. | Control system for electrical appliances |
| JP2007057106A (en) * | 2005-08-22 | 2007-03-08 | Jr Higashi Nippon Consultants Kk | Automatic operation control system for air conditioner |
| JP2007280167A (en) * | 2006-04-10 | 2007-10-25 | Mitsubishi Electric Corp | Air conditioner |
| JP2009014259A (en) * | 2007-07-04 | 2009-01-22 | Mitsubishi Electric Corp | Air conditioner |
| JP2009186138A (en) * | 2008-02-08 | 2009-08-20 | Panasonic Corp | Air conditioner |
| JP2010159887A (en) * | 2009-01-06 | 2010-07-22 | Mitsubishi Electric Corp | Air conditioning device |
| JP2011080625A (en) * | 2009-10-05 | 2011-04-21 | Panasonic Corp | Air conditioner |
| US20120072032A1 (en) * | 2010-09-22 | 2012-03-22 | Powell Kevin J | Methods and systems for environmental system control |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015203504A (en) * | 2014-04-10 | 2015-11-16 | 三菱電機株式会社 | Indoor equipment of air conditioner |
| JP2016114283A (en) * | 2014-12-15 | 2016-06-23 | シャープ株式会社 | Ion generator |
| JP2016173214A (en) * | 2015-03-17 | 2016-09-29 | ジョンソンコントロールズ ヒタチ エア コンディショニング テクノロジー(ホンコン)リミテッド | Air conditioner |
| CN111094863A (en) * | 2017-07-07 | 2020-05-01 | 三菱重工制冷空调系统株式会社 | Air conditioning control device, environment setting terminal, air conditioning control method, and program |
| US11195298B2 (en) | 2018-02-05 | 2021-12-07 | Canon Kabushiki Kaisha | Information processing apparatus, system, method for controlling information processing apparatus, and non-transitory computer readable storage medium |
| JP2020008310A (en) * | 2018-07-03 | 2020-01-16 | 株式会社Soken | Object detecting device |
| JP7074593B2 (en) | 2018-07-03 | 2022-05-24 | 株式会社Soken | Object detector |
| CN112276174A (en) * | 2020-10-15 | 2021-01-29 | 东风汽车集团有限公司 | Control method for volume machining of engine cylinder head combustion chamber based on optics and feedback |
| CN112276174B (en) * | 2020-10-15 | 2021-08-03 | 东风汽车集团有限公司 | Control method for volume machining of engine cylinder head combustion chamber based on optics and feedback |
| CN115435464A (en) * | 2021-06-02 | 2022-12-06 | 美的集团股份有限公司 | Control method of integrated refrigeration stove, integrated refrigeration stove and readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5879221B2 (en) | 2016-03-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5879221B2 (en) | Air conditioner | |
| JP6238197B2 (en) | Air conditioner | |
| JP5815490B2 (en) | Air conditioner | |
| JP6335425B2 (en) | Air conditioner | |
| JP5819271B2 (en) | Air conditioner | |
| JP5800760B2 (en) | Air conditioner | |
| JP6091348B2 (en) | Air conditioner | |
| CN107305035B (en) | Air conditioner | |
| JP5238679B2 (en) | Air conditioning control device, air conditioning control method, and radiation temperature measuring device | |
| JP2015190666A (en) | Indoor machine of air conditioning machine, and air conditioning machine using the same | |
| CN102648378A (en) | air conditioner | |
| JP2013024534A (en) | Situation recognition device | |
| JP2009103328A (en) | Air conditioner | |
| CN105135590A (en) | Air-conditioning machine | |
| KR20090087366A (en) | Air Conditioner and Control Method | |
| JP2016017707A (en) | Air conditioning system | |
| JP2012107865A (en) | Air conditioner | |
| JP2010216713A (en) | Air conditioner | |
| CN104422084B (en) | Air conditioner | |
| JP2006226988A (en) | Infrared sensor system | |
| JP6017207B2 (en) | Air conditioner | |
| JP7061917B2 (en) | Air conditioner | |
| KR20090087364A (en) | Air Conditioner and Control Method | |
| JP7438023B2 (en) | Air conditioning systems, unmanned aerial vehicles and air conditioning equipment | |
| CN116753919A (en) | Air Conditioning System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140820 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140820 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140820 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150520 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150623 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150818 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20150818 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150902 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150903 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160201 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5879221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |