[go: up one dir, main page]

JP7334689B2 - 制御システム、制御方法及び制御プログラム - Google Patents

制御システム、制御方法及び制御プログラム Download PDF

Info

Publication number
JP7334689B2
JP7334689B2 JP2020126214A JP2020126214A JP7334689B2 JP 7334689 B2 JP7334689 B2 JP 7334689B2 JP 2020126214 A JP2020126214 A JP 2020126214A JP 2020126214 A JP2020126214 A JP 2020126214A JP 7334689 B2 JP7334689 B2 JP 7334689B2
Authority
JP
Japan
Prior art keywords
information
detection information
human
temperature
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020126214A
Other languages
English (en)
Other versions
JP2022023342A (ja
Inventor
航 加来
海妍 李
達朗 堀
生聖 渡部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020126214A priority Critical patent/JP7334689B2/ja
Priority to US17/381,684 priority patent/US20220026529A1/en
Priority to CN202110836184.5A priority patent/CN113984105A/zh
Priority to EP21187962.2A priority patent/EP3945377A1/en
Publication of JP2022023342A publication Critical patent/JP2022023342A/ja
Application granted granted Critical
Publication of JP7334689B2 publication Critical patent/JP7334689B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411Identification of targets based on measurements of radar reflectivity
    • G01S7/412Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025Living bodies
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/326Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/26Pc applications
    • G05B2219/2642Domotique, domestic, home control, automation, smart house

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Air Conditioning Control Device (AREA)
  • Radiation Pyrometers (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Radar Systems Or Details Thereof (AREA)

Description

本開示は、制御システム、制御方法及び制御プログラムに関する。
近年、所定の環境内の人間の存在に基づいて、当該環境内に配置された電気機器を制御する技術が実用化されている。このとき、特許文献1に開示されているように、イメージセンサなどの複数のセンサを用いて、環境内の人間を検出している。
特開2017-16610号公報
本出願人は、以下の課題を見出した。特許文献1では、イメージセンサなどの複数のセンサを用いて、環境内の人間を検出しているが、イメージセンサなどで取得した検出情報には、顔情報などの個人を特定できる情報が含まれる可能性があり、プライバシー保護の観点から懸念がある。
本開示は、このような問題点に鑑みてなされたものであり、プライバシーに配慮しつつ、人間と他の物体とを精度良く識別可能な、制御システム、制御方法及び制御プログラムを実現する。
本開示の一態様に係る制御システムは、
所定の環境内を検出範囲としたレーダ検出情報を取得する第1の取得部と、
前記環境内を検出範囲とした温度検出情報を取得する第2の取得部と、
前記レーダ検出情報と前記温度検出情報とに基づいて、前記環境内の物体に対して人間か他の物体かを識別する識別部と、
前記人間か他の物体かの識別結果情報に基づいて、前記環境内に配置された電気機器を制御する制御部と、
を備える。
このように個人を特定できないが物体を検出可能なレーダ検出情報と、同じく個人を特定できないが人間と他の物体とで相違が生じる温度検出情報と、を用いて人間と他の物体とを識別する。そのため、プライバシーに配慮しつつ、人間と他の物体とを精度良く識別することができる。
上述の制御システムにおいて、前記識別部は、前記温度検出情報における前記レーダ検出情報での前記物体を示す領域に対応する領域での温度分布に基づいて、人間か他の物体かを識別することが好ましい。
上述の制御システムにおいて、前記識別部は、他の物体の温度分布の時系列の変化情報と、人間の温度検出情報と、人間の体格情報と、を入力情報とし、人間か他の物体かの識別結果情報を出力情報とした教師あり学習によって、人間か他の物体かの識別結果が正答するように学習することが好ましい。
上述の制御システムにおいて、
前記電気機器は、マイクであり、
前記制御部は、前記マイクの集音方向が識別した人間に向くように当該マイクを制御することが好ましい。
上述の制御システムにおいて、
前記電気機器は、移動体であり、
前記制御部は、識別した人間を避けるように前記移動体を制御することが好ましい。
上述の制御システムにおいて、
前記電気機器は、エアコンであり、
前記制御部は、識別した人間に前記エアコンの風向が向くように当該エアコンを制御することが好ましい。
上述の制御システムにおいて、
前記制御部は、前記識別結果情報に基づいて前記環境内に人間が存在しないと判定した場合、前記電気機器の電源をOFFにすることが好ましい。
本開示の一態様に係る制御方法は、
所定の環境内を検出範囲としたレーダ検出情報を取得する工程と、
前記環境内を検出範囲とした温度検出情報を取得する工程と、
前記レーダ検出情報と前記温度検出情報とに基づいて、前記環境内の物体に対して人間か他の物体かを識別する工程と、
前記人間か他の物体かの識別結果情報に基づいて、前記環境内に配置された電気機器を制御する工程と、
を備える。
このように個人を特定できないが物体を検出可能なレーダ検出情報と、同じく個人を特定できないが人間と他の物体とで相違が生じる温度検出情報と、を用いて人間と他の物体とを識別する。そのため、プライバシーに配慮しつつ、人間と他の物体とを精度良く識別することができる。
本開示の一態様に係る制御プログラムは、
所定の環境内を検出範囲としたレーダ検出情報を取得する処理と、
前記環境内を検出範囲とした温度検出情報を取得する処理と、
前記レーダ検出情報と前記温度検出情報とに基づいて、前記環境内の物体に対して人間か他の物体かを識別する処理と、
前記人間か他の物体かの識別結果情報に基づいて、前記環境内に配置された電気機器を制御する処理と、
をコンピュータに実行させる。
このように個人を特定できないが物体を検出可能なレーダ検出情報と、同じく個人を特定できないが人間と他の物体とで相違が生じる温度検出情報と、を用いて人間と他の物体とを識別する。そのため、プライバシーに配慮しつつ、人間と他の物体とを精度良く識別することができる。
本開示によれば、プライバシーに配慮しつつ、人間と他の物体とを精度良く識別可能な、制御システム、制御方法及び制御プログラムを実現することができる。
実施の形態1の制御システムが用いられる様子を示す図である。 実施の形態1の制御システムの構成を示すブロック図である。 第1の取得部で取得される点群情報を例示した図である。 第2の取得部で取得される温度検出情報を例示した図である。 実施の形態1の制御システムを用いてマイクを制御する流れを示すフローチャート図である。 実施の形態1の識別部において、人間か他の物体かを識別する流れを示すフローチャート図である。 実施の形態2の制御システムの構成を示すブロック図である。 実施の形態3の制御システムの構成を示すブロック図である。 実施の形態4の制御システムの構成を示すブロック図である。 制御システムに含まれるハードウェア構成の一例を示す図である。
以下、本開示を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。但し、本開示が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。
<実施の形態1>
先ず、本実施の形態の制御システムの構成を説明する。図1は、本実施の形態の制御システムが用いられる様子を示す図である。図2は、本実施の形態の制御システムの構成を示すブロック図である。
本実施の形態の制御システム1は、例えば、図1に示すように、所定の環境として家の居室Rに好適である。但し、制御システム1は、家に限らず、人間が活動する施設で適用することができる。
制御システム1は、図1及び図2に示すように、第1の取得部2、第2の取得部3、識別部4及び制御部5を備えている。第1の取得部2は、居室Rの内部を検出範囲としたレーダ検出情報を取得する。図3は、第1の取得部で取得される点群情報を例示した図である。レーダ検出情報は、図3に示すように、居室Rの内部に存在する物体からの反射波に基づく点群情報である。点群情報には、例えば、居室Rの内部でのワールド座標系の位置情報が含まれる。
第1の取得部2は、例えば、レーダセンサを備えており、図1に示すように、居室Rを見下ろすように当該居室Rの上部に固定されている。そして、第1の取得部2の検出範囲は、例えば、居室Rの略全域である。
但し、第1の取得部2の固定位置や検出範囲は、居室Rの内部に存在する人間を検出できる固定位置及び検出範囲であればよい。また、第1の取得部2は、第1の取得部2がレーダセンサを備える構成に限らず、第1の取得部2の外部に設けられたレーダセンサからレーダ検出情報を取得する構成であってもよい。つまり、第1の取得部2をレーダ検出情報の入力部として機能させてもよい。
第2の取得部3は、居室Rの内部を検出範囲とした温度検出情報を取得する。図4は、第2の取得部で取得される温度検出情報を例示した図である。ここで、図4では、色が濃くなるに従って、温度が高い領域を示している。温度検出情報は、図4に示すように、居室Rの内部に存在する物体の温度分布情報である。温度分布情報には、例えば、居室Rの内部での位置情報が含まれている。
第2の取得部3は、例えば、赤外線カメラを備えており、図1に示すように、居室Rを見下ろすように当該居室Rの上部に固定されている。そして、第2の取得部3の検出範囲は、例えば、居室Rの略全域である。
但し、第2の取得部3の固定位置や検出範囲は、居室Rの内部に存在する人間を検出できる固定位置及び検出範囲であればよい。また、第2の取得部3は、第2の取得部3が赤外線カメラを備える構成に限らず、第2の取得部3の外部に設けられた赤外線カメラから温度検出情報を取得する構成であってもよい。つまり、第2の取得部3を温度検出情報の入力部として機能させてもよい。
識別部4は、レーダ検出情報及び温度検出情報に基づいて、居室Rの内部の物体に対して人間か他の物体かを識別する。識別部4は、詳細は後述するが、温度検出情報におけるレーダ検出情報での物体を示す領域に対応する領域での温度分布に基づいて、人間か他の物体かを識別する。
制御部5は、識別結果に基づいて、居室Rの内部に配置された電気機器を制御する。制御部5は、例えば、電気機器としてマイク6を制御する。マイク6は、例えば、指向性マイクであり、図1に示すように、マイク6から集音される音声に基づいてエアコンなどの他の電気機器を動作させるために居室Rの内部に配置されている。このとき、マイク6は、指向を変化させることができる構成とされている。但し、マイク6は、音声を集音可能であればよく、集音した音声の用途は限定されない。
次に、本実施の形態の制御システム1を用いてマイク6を制御する流れを説明する。図5は、本実施の形態の制御システムを用いてマイクを制御する流れを示すフローチャート図である。
先ず、識別部4は、第1の取得部2を介して居室Rの内部のレーダ検出情報を取得すると共に、第2の取得部3を介して居室Rの内部の温度検出情報を取得する(S1)。このとき、レーダ検出情報及び温度検出情報は、居室Rの内部でのワールド座標系の物体の位置情報を有する。
次に、識別部4は、上述のように、温度検出情報におけるレーダ検出情報の物体を示す領域に対応する領域での温度分布に基づいて、人間か他の物体かを識別する(S2)。ここで、レーダは、水や金属で反射するため、取得した点群情報は、人間と他の物体とを精度良く識別できる情報ではなく、また、大凡の形状や姿勢を取得することはできるが、人間の顔などの個人を特定できるレベルではない。一方、温度検出情報で示される温度分布には、人間と他の物体とで相違が生じる。
図6は、本実施の形態の識別部において、人間か他の物体かを識別する流れを示すフローチャート図である。識別部4は、例えば、レーダ検出情報に基づいて居室Rの内部に存在する物体を示す領域を他の領域に対して識別する(S21)。そして、識別部4は、温度検出情報におけるレーダ検出情報の物体を示す領域に対応する領域での温度分布を取得する(S22)。
このとき、識別部4は、レーダ検出情報である点群情報内の位置情報及び温度検出情報である温度分布情報内の位置情報に基づいて、温度検出情報におけるレーダ検出情報の物体を示す領域に対応する領域での温度分布を取得すればよい。ここで、物体を示す領域が複数存在する場合は、温度検出情報における各々の物体を示す領域に対応する領域毎の温度分布を取得する。
さらに、識別部4は、温度検出情報におけるレーダ検出情報の物体を示す領域での温度分布に基づいて、温度検出情報におけるレーダ検出情報の物体を示す領域において、予め設定された温度以上の広さが当該物体を示す領域の広さに対して予め設定された割合以上か否かを判定する(S23)。
そして、予め設定された温度以上の広さが当該物体を示す領域の広さに対して予め設定された割合以上の場合(S23のYES)、識別部4は、判定した領域に人間が存在すると判定する(S24)。一方、予め設定された温度以上の広さが当該物体を示す領域の広さに対して予め設定された割合未満の場合(S23のNO)、識別部4は、判定した領域に他の物体が存在すると判定する(S25)。このように識別部4は、レーダ検出情報の物体が人間か他の物体かを識別する。
なお、予め設定された温度及び割合は、適宜、設定することができ、例えば、温度:35℃、割合:70%に設定することができる。また、人間の温度検出情報及び人間の体格情報を入力情報とし、設定する温度及び割合を出力情報とした教師あり学習によって、人間か他の物体かの識別結果が正答するように学習してもよい。
ここで、人間を示すレーダ検出情報及び他の物体を示すレーダ検出情報を入力情報とし、レーダ検出情報の物体を示す領域に存在する物体が人間か他の物体かの識別結果情報を出力情報とした教師あり学習によって、人間か他の物体かの識別結果が正答するように学習し、レーダ検出情報において明らかに他の物体が示された領域をフィルタリングしてもよい。又は、レーダ検出情報において人間が示された領域を抽出し、温度検出情報におけるレーダ検出情報の当該抽出した領域に対応する領域での温度分布に基づいて、人間か他の物体かを識別してもよい。これにより、演算量が抑制することができる。
但し、識別部4は、他の物体の時系列の温度分布の変化情報、人間の温度検出情報及び人間の体格情報を入力情報とし、人間か他の物体かの識別結果情報を出力情報とした教師あり学習によって、人間か他の物体かの識別結果が正答するように学習し、学習結果に基づいて、温度検出情報におけるレーダ検出情報の物体を示す領域に対応する領域に存在する物体が人間か他の物体かを識別してもよい。このとき、人間と他の物体とでは、レーダの反射が異なるので、レーダ検出情報のレーダ強度情報も入力情報とすると、学習精度を向上させることができる。
次に、制御部5は、識別結果を示す情報、及び少なくともレーダ検出情報である点群情報内の位置情報若しくは温度検出情報である温度分布情報内の位置情報の一方の位置情報に基づいて、マイク6の指向(即ち、マイク6の集音方向)が識別した人間に向かうように当該マイク6を制御する(S3)。
このように本実施の形態の制御システム1及び制御方法は、個人を特定できないが物体を検出可能なレーダ検出情報と、同じく個人を特定できないが人間と他の物体とで相違が生じる温度検出情報と、を用いて人間と他の物体とを識別する。そのため、本実施の形態の制御システム1及び制御方法は、プライバシーに配慮しつつ、人間と他の物体とを精度良く識別することができ、その結果、人間に向けてマイク6の指向を精度良く制御することができる。なお、レーダ検出情報及び温度検出情報に基づいて、レーダ検出情報に示された物体を人間か他の物体かに識別できればよく、上述の手法に限定されない。
<実施の形態2>
図7は、本実施の形態の制御システムの構成を示すブロック図である。図7に示す制御システム21は、実施の形態1の制御システム1と略等しい構成とされているため、重複する説明は省略するが、マイク6に代わって移動体22を制御する構成とされている。
移動体22は、例えば、居室Rの内部を移動する自律移動型のロボットであり、制御システム21の制御部23と通信可能である。そして、制御システム21の制御部23は、識別結果を示す情報、及び少なくともレーダ検出情報である点群情報内の位置情報若しくは温度検出情報である温度分布情報内の位置情報の一方の位置情報に基づいて、移動体22が識別した人間を避けるように当該移動体22を制御する。
これにより、移動体22が人間に接触することを精度良く抑制することができる。なお、移動体22は、外部からの指示情報に基づいて動作するロボットなどでもよい。
<実施の形態3>
図8は、本実施の形態の制御システムの構成を示すブロック図である。図8に示す制御システム31は、実施の形態1の制御システム1と略等しい構成とされているため、重複する説明は省略するが、マイク6に代わってエアコン32を制御する構成とされている。
エアコン32は、例えば、居室Rに設置された冷暖房装置であって、制御システム31の制御部33と通信可能である。そして、制御システム31の制御部33は、識別結果を示す情報、及びレーダ検出情報である点群情報内の位置情報若しくは温度検出情報である温度分布情報内の位置情報の一方の位置情報に基づいて、エアコン32の風向が識別した人間に向くように当該エアコン32を制御する。
これにより、居室Rの内部で人間が存在する箇所を選択的に冷暖房することができる。そのため、エアコン32を効率的に稼働させることができ、電力の消費量を抑制することができる。
<実施の形態4>
図9は、本実施の形態の制御システムの構成を示すブロック図である。図9に示す制御システム41は、実施の形態1の制御システム1と略等しい構成とされているため、重複する説明は省略するが、電気機器42を制御する構成とされている。
電気機器42は、例えば、居室Rの内部に配置されたマイク6、移動体22又はエアコン32などの電力によって動作する装置であり、制御システム41の制御部43と通信可能である。そして、制御システム41の制御部43は、識別結果を示す情報に基づいて居室Rの内部に人間が存在しないと判定した場合、電気機器42の電源をOFFに制御する。
これにより、居室Rの内部に人間が存在しない場合、電気機器42の電源の消し忘れを抑制することができ、電気機器42の消費電力を抑制することができる。
<他の実施の形態>
上記実施の形態1乃至4では、本開示をハードウェアの構成として説明したが、本開示はこれに限定されるものではない。本開示は、各構成要素の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。
例えば、上記実施の形態の制御システムは、次のようなハードウェア構成を備えることができる。図10は、制御システムに含まれるハードウェア構成の一例を示す図である。
図10に示す装置51は、インターフェイス52と共に、プロセッサ53及びメモリ54を備える。上記実施の形態で説明した制御システムは、プロセッサ53がメモリ54に記憶されたプログラムを読み込んで実行することにより実現される。つまり、このプログラムは、プロセッサ53を上記実施の形態の制御システムとして機能させるためのプログラムである。
上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータ(情報通知装置を含むコンピュータ)に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)を含む。さらに、この例は、CD-ROM(Read Only Memory)、CD-R、CD-R/Wを含む。さらに、この例は、半導体メモリ(例えば、マスクROM、PROM、EPROM、フラッシュROM、RAM)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
上記実施の形態は本件発明者により得られた技術思想の適用に関する例に過ぎない。すなわち、当該技術思想は、上述した実施の形態のみに限定されるものではなく、種々の変更が可能であることは勿論である。
1 制御システム
2 第1の取得部
3 第2の取得部
4 識別部
5 制御部
6 マイク
21 制御システム
22 移動体
23 制御部
31 制御システム
32 エアコン
33 制御部
41 制御システム
42 電気機器
43 制御部
51 装置
52 インターフェイス
53 プロセッサ
54 メモリ
R 居室

Claims (11)

  1. 所定の環境内を検出範囲としたレーダ検出情報を取得する第1の取得部と、
    前記環境内を検出範囲とした温度検出情報を取得する第2の取得部と、
    前記レーダ検出情報と前記温度検出情報とに基づいて、前記環境内の物体に対して人間か他の物体かを識別する識別部と、
    前記人間か他の物体かの識別結果情報に基づいて、前記環境内に配置された電気機器を制御する制御部と、
    を備え
    前記識別部は、前記温度検出情報における前記レーダ検出情報での物体を示す領域に対応する領域での温度分布に基づいて、前記物体を示す領域に対応する領域において、予め設定された温度以上の広さが前記物体を示す領域に対応する領域の広さに対して予め設定された割合以上か否かを判定し、予め設定された温度以上の広さが前記物体を示す領域に対応する領域の広さに対して予め設定された割合以上の場合、前記物体を示す領域に対応する領域に人間が存在すると判定する、制御システム。
  2. 前記識別部は、他の物体の温度分布の時系列の変化情報と、人間の温度検出情報と、人間の体格情報と、を入力情報とし、人間か他の物体かの識別結果情報を出力情報とした教師あり学習によって、人間か他の物体かの識別結果が正答するように学習する、請求項に記載の制御システム。
  3. 所定の環境内を検出範囲としたレーダ検出情報を取得する第1の取得部と、
    前記環境内を検出範囲とした温度検出情報を取得する第2の取得部と、
    前記レーダ検出情報と前記温度検出情報とに基づいて、前記環境内の物体に対して人間か他の物体かを識別する識別部と、
    前記人間か他の物体かの識別結果情報に基づいて、前記環境内に配置された電気機器を制御する制御部と、
    を備え
    前記識別部は、前記温度検出情報における前記レーダ検出情報での前記物体を示す領域に対応する領域での温度分布に基づいて、人間か他の物体かを識別し、他の物体の温度分布の時系列の変化情報と、人間の温度検出情報と、人間の体格情報と、を入力情報とし、人間か他の物体かの識別結果情報を出力情報とした教師あり学習によって、人間か他の物体かの識別結果が正答するように学習する、制御システム。
  4. 前記電気機器は、マイクであり、
    前記制御部は、前記マイクの集音方向が識別した人間に向くように当該マイクを制御する、請求項1乃至3のいずれか1項に記載の制御システム。
  5. 前記電気機器は、移動体であり、
    前記制御部は、識別した人間を避けるように前記移動体を制御する、請求項1乃至3のいずれか1項に記載の制御システム。
  6. 前記電気機器は、エアコンであり、
    前記制御部は、識別した人間に前記エアコンの風向が向くように当該エアコンを制御する、請求項1乃至3のいずれか1項に記載の制御システム。
  7. 前記制御部は、前記識別結果情報に基づいて前記環境内に人間が存在しないと判定した場合、前記電気機器の電源をOFFにする、請求項1乃至6のいずれか1項に記載の制御システム。
  8. コンピュータが、
    所定の環境内を検出範囲としたレーダ検出情報を取得する工程と、
    前記環境内を検出範囲とした温度検出情報を取得する工程と、
    前記レーダ検出情報と前記温度検出情報とに基づいて、前記環境内の物体に対して人間か他の物体かを識別する工程と、
    前記人間か他の物体かの識別結果情報に基づいて、前記環境内に配置された電気機器を制御する工程と、
    実行し、
    前記温度検出情報における前記レーダ検出情報での物体を示す領域に対応する領域での温度分布に基づいて、前記物体を示す領域に対応する領域において、予め設定された温度以上の広さが前記物体を示す領域に対応する領域の広さに対して予め設定された割合以上か否かを判定し、予め設定された温度以上の広さが前記物体を示す領域に対応する領域の広さに対して予め設定された割合以上の場合、前記物体を示す領域に対応する領域に人間が存在すると判定する、制御方法。
  9. コンピュータが、
    所定の環境内を検出範囲としたレーダ検出情報を取得する工程と、
    前記環境内を検出範囲とした温度検出情報を取得する工程と、
    前記レーダ検出情報と前記温度検出情報とに基づいて、前記環境内の物体に対して人間か他の物体かを識別する工程と、
    前記人間か他の物体かの識別結果情報に基づいて、前記環境内に配置された電気機器を制御する工程と、
    実行し、
    前記温度検出情報における前記レーダ検出情報での前記物体を示す領域に対応する領域での温度分布に基づいて、人間か他の物体かを識別し、
    他の物体の温度分布の時系列の変化情報と、人間の温度検出情報と、人間の体格情報と、を入力情報とし、人間か他の物体かの識別結果情報を出力情報とした教師あり学習によって、人間か他の物体かの識別結果が正答するように学習する、制御方法。
  10. 所定の環境内を検出範囲としたレーダ検出情報を取得する処理と、
    前記環境内を検出範囲とした温度検出情報を取得する処理と、
    前記レーダ検出情報と前記温度検出情報とに基づいて、前記環境内の物体に対して人間か他の物体かを識別する処理と、
    前記人間か他の物体かの識別結果情報に基づいて、前記環境内に配置された電気機器を制御する処理と、
    をコンピュータに実行させ
    前記温度検出情報における前記レーダ検出情報での物体を示す領域に対応する領域での温度分布に基づいて、前記物体を示す領域に対応する領域において、予め設定された温度以上の広さが前記物体を示す領域に対応する領域の広さに対して予め設定された割合以上か否かを判定し、予め設定された温度以上の広さが前記物体を示す領域に対応する領域の広さに対して予め設定された割合以上の場合、前記物体を示す領域に対応する領域に人間が存在すると判定する、制御プログラム。
  11. 所定の環境内を検出範囲としたレーダ検出情報を取得する処理と、
    前記環境内を検出範囲とした温度検出情報を取得する処理と、
    前記レーダ検出情報と前記温度検出情報とに基づいて、前記環境内の物体に対して人間か他の物体かを識別する処理と、
    前記人間か他の物体かの識別結果情報に基づいて、前記環境内に配置された電気機器を制御する処理と、
    をコンピュータに実行させ
    前記温度検出情報における前記レーダ検出情報での前記物体を示す領域に対応する領域での温度分布に基づいて、人間か他の物体かを識別し、
    他の物体の温度分布の時系列の変化情報と、人間の温度検出情報と、人間の体格情報と、を入力情報とし、人間か他の物体かの識別結果情報を出力情報とした教師あり学習によって、人間か他の物体かの識別結果が正答するように学習する、制御プログラム。
JP2020126214A 2020-07-27 2020-07-27 制御システム、制御方法及び制御プログラム Active JP7334689B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020126214A JP7334689B2 (ja) 2020-07-27 2020-07-27 制御システム、制御方法及び制御プログラム
US17/381,684 US20220026529A1 (en) 2020-07-27 2021-07-21 Control system, control method and control program
CN202110836184.5A CN113984105A (zh) 2020-07-27 2021-07-23 控制系统、控制方法以及计算机可读取的记录介质
EP21187962.2A EP3945377A1 (en) 2020-07-27 2021-07-27 Control system, control method and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020126214A JP7334689B2 (ja) 2020-07-27 2020-07-27 制御システム、制御方法及び制御プログラム

Publications (2)

Publication Number Publication Date
JP2022023342A JP2022023342A (ja) 2022-02-08
JP7334689B2 true JP7334689B2 (ja) 2023-08-29

Family

ID=77103853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020126214A Active JP7334689B2 (ja) 2020-07-27 2020-07-27 制御システム、制御方法及び制御プログラム

Country Status (4)

Country Link
US (1) US20220026529A1 (ja)
EP (1) EP3945377A1 (ja)
JP (1) JP7334689B2 (ja)
CN (1) CN113984105A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115218399A (zh) * 2022-06-22 2022-10-21 青岛海尔空调器有限总公司 室内机的控制方法、装置及空调
CN115774148A (zh) * 2023-01-10 2023-03-10 国网江苏省电力有限公司营销服务中心 一种电能计量装置运行环境在线监测装置及方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302470A (ja) 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
JP2005157765A (ja) 2003-11-26 2005-06-16 Alpine Electronics Inc 歩行者検出装置
JP2010050571A (ja) 2008-08-19 2010-03-04 Yamaha Corp 収音装置
JP2010530974A (ja) 2007-06-22 2010-09-16 インテル・コーポレーション 感知可能な動き検出器
JP2014077686A (ja) 2012-10-10 2014-05-01 Toshiba Corp 電子機器および動作制御方法
JP2016205634A (ja) 2015-04-15 2016-12-08 アズビル株式会社 空調制御装置
JP2017016610A (ja) 2015-07-06 2017-01-19 有限会社セルフ 集合住宅施設の入居者等及び設備等の総合監視警備連絡装置
EP3285160A1 (en) 2016-08-19 2018-02-21 Otis Elevator Company Intention recognition for triggering voice recognition system
JP2018204940A (ja) 2018-02-20 2018-12-27 伸和コントロールズ株式会社 状態監視装置
US20190041822A1 (en) 2017-05-10 2019-02-07 Katerra, Inc. Method and apparatus for real property monitoring and control system
JP2019052889A (ja) 2017-09-13 2019-04-04 サクサ株式会社 画像処理装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6010240B2 (ja) * 1977-08-15 1985-03-15 株式会社日立製作所 ロボツトの対人衝突防止制御法
JPH0728488A (ja) * 1993-06-24 1995-01-31 Canon Inc 情報処理方法及び装置
JPH10142351A (ja) * 1996-11-08 1998-05-29 Matsushita Seiko Co Ltd 人感センサ
JP4655572B2 (ja) * 2004-03-25 2011-03-23 日本電気株式会社 信号処理方法および信号処理装置、ならびに、ロボット
JP2010250516A (ja) * 2009-04-15 2010-11-04 Nec Access Technica Ltd 監視システム、監視方法、監視カメラ装置、中央監視装置及びプログラム
JP2011061461A (ja) * 2009-09-09 2011-03-24 Sony Corp 撮像装置、指向性制御方法及びそのプログラム
CN102323822B (zh) * 2011-05-09 2013-07-03 无锡引域智能机器人有限公司 一种避免工业机器人碰撞工人的方法
KR20130056655A (ko) * 2011-11-22 2013-05-30 주식회사 케이엔소프트 무인 자율주행 운반차량의 충돌회피 대응방법
CN109228820A (zh) * 2013-05-17 2019-01-18 松下电器(美国)知识产权公司 控制装置、控制方法、记录介质、空气调节机以及车辆
US10687184B2 (en) * 2016-05-13 2020-06-16 Google Llc Systems, methods, and devices for utilizing radar-based touch interfaces
WO2018077638A1 (en) * 2016-10-24 2018-05-03 Philips Lighting Holding B.V. Presence detection system and method.
CN106996621A (zh) * 2017-04-10 2017-08-01 盐城师范学院 基于红外探测的智能空调控制装置及控制方法
JP7011910B2 (ja) * 2017-09-01 2022-01-27 川崎重工業株式会社 ロボットシステム
KR102426171B1 (ko) * 2017-10-13 2022-07-29 현대자동차주식회사 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
DE102019100766A1 (de) * 2018-08-07 2020-02-13 Still Gmbh Fernbedienbares Flurförderzeug
TWI699120B (zh) * 2019-04-30 2020-07-11 陳筱涵 會議記錄系統與會議記錄方法
US20220366156A1 (en) * 2019-07-10 2022-11-17 Nec Corporation Translation system, translation apparatus, translation method, and translation program
KR20210045022A (ko) * 2019-10-16 2021-04-26 네이버 주식회사 인식된 사람과 연관된 개인 영역에 기반하여 로봇을 제어하는 방법 및 시스템
KR102388782B1 (ko) * 2019-12-05 2022-04-20 부산대학교 산학협력단 Pir 센서를 이용한 딥러닝 기반 객체 인지 시스템 및 방법
EP4120900A1 (en) * 2020-03-17 2023-01-25 Seek Thermal, Inc. Cost effective, mass producible system for rapid detection of fever conditions based on thermal imaging

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003302470A (ja) 2002-04-05 2003-10-24 Sogo Jidosha Anzen Kogai Gijutsu Kenkyu Kumiai 歩行者検出装置および歩行者検出方法
JP2005157765A (ja) 2003-11-26 2005-06-16 Alpine Electronics Inc 歩行者検出装置
JP2010530974A (ja) 2007-06-22 2010-09-16 インテル・コーポレーション 感知可能な動き検出器
JP2010050571A (ja) 2008-08-19 2010-03-04 Yamaha Corp 収音装置
JP2014077686A (ja) 2012-10-10 2014-05-01 Toshiba Corp 電子機器および動作制御方法
JP2016205634A (ja) 2015-04-15 2016-12-08 アズビル株式会社 空調制御装置
JP2017016610A (ja) 2015-07-06 2017-01-19 有限会社セルフ 集合住宅施設の入居者等及び設備等の総合監視警備連絡装置
EP3285160A1 (en) 2016-08-19 2018-02-21 Otis Elevator Company Intention recognition for triggering voice recognition system
US20190041822A1 (en) 2017-05-10 2019-02-07 Katerra, Inc. Method and apparatus for real property monitoring and control system
JP2019052889A (ja) 2017-09-13 2019-04-04 サクサ株式会社 画像処理装置
JP2018204940A (ja) 2018-02-20 2018-12-27 伸和コントロールズ株式会社 状態監視装置

Also Published As

Publication number Publication date
US20220026529A1 (en) 2022-01-27
EP3945377A1 (en) 2022-02-02
JP2022023342A (ja) 2022-02-08
CN113984105A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
US20180231653A1 (en) Entity-tracking computing system
JP6592183B2 (ja) モニタリング
JP7334689B2 (ja) 制御システム、制御方法及び制御プログラム
US20180079081A1 (en) Inventory robot
JP7072695B2 (ja) 報知装置、報知方法及びプログラム
JP2010530974A (ja) 感知可能な動き検出器
US20200246977A1 (en) Robots, methods, computer programs, computer-readable media, arrays of microphones and controllers
JP6453069B2 (ja) 空気調和機、空気調和機の制御方法、及びプログラム
Nakashima et al. 3D sound source localization system based on learning of binaural hearing
EP3893215A1 (en) Information processing device, information processing method, and program
JP2016217709A5 (ja)
JP7433289B2 (ja) 空間内の物体を検出した際にアクションを提供するためのデバイス
JP4754800B2 (ja) 環境内のユーザの移動をモデル化する方法およびシステム、並びに環境内のセンサネットワークのジオメトリをモデル化する方法およびシステム
JP2005202578A (ja) コミュニケーション装置およびコミュニケーション方法
JP6473308B2 (ja) 制御システム
CN110486859B (zh) 一拖多空调系统及其控制方法、控制装置和可读存储介质
JP2016157170A (ja) 異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置
JP2011108137A (ja) 建物内の検知対象の位置検知、行動認知システム
KR20150004575A (ko) 위치 추적형 송풍 시스템 및 이를 이용한 맞춤식 송풍 방법
JP7033305B2 (ja) 情報処理装置
Kani et al. Mobile monitoring of physical states of indoor environments for personal support
KR101134988B1 (ko) 움직임 검출센서를 이용한 시스템 에어컨 제어 장치 및 방법
Ciuffreda et al. Validation and accuracy estimation of a novel measurement system based on a mobile robot for human detection in indoor environment
JP6390886B2 (ja) 見守り装置
Mehdi et al. A survey of human location estimation in a home environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230501

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230731

R151 Written notification of patent or utility model registration

Ref document number: 7334689

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151