JP2015128261A - 画像センサ - Google Patents

Abstract

【課題】センサの調整の効果を目視で確認することができる画像センサを提供することである。
【解決手段】画像センサは、撮像部と、受信部と、画像認識部と、送信部とを備える。撮像部は、空間を撮像する。画像認識部は、設定情報に基づいて、空間が撮像された画像に対する画像認識を実行する。送信部は、画像認識の結果を示す情報と、画像を表す情報と、を送信する。
【選択図】図３

Description

本発明の実施形態は、画像センサに関する。

設置された場所で赤外線を集光し、集光した赤外線に基づく情報を出力するセンサがある。集光した赤外線に基づく情報は、照明装置などによって環境を制御するために用いられることがある。センサは、赤外線を集光するレンズやフィルタが物理的に交換される際に、赤外線を集光する範囲などが調整される場合がある。しかしながら、調整員は、自身の感覚でしかセンサを調整することができない、という問題がある。

特開２０１３−８４６０号公報 特開２０１３−８４６１号公報

本発明が解決しようとする課題は、センサの調整の効果を目視で確認することができる画像センサを提供することである。

実施形態の画像センサは、撮像部と、受信部と、画像認識部と、送信部とを備える。撮像部は、空間を撮像する。受信部は、画像認識の条件を定める設定情報を受信する。画像認識部は、設定情報に基づいて、空間が撮像された画像に対する画像認識を実行する。送信部は、画像認識の結果を示す情報と、画像を表す情報と、を送信する。

実施形態における、有線通信を実行する環境制御システムの構成の例を示す図である。 実施形態における、有線通信及び無線通信を実行する環境制御システムの構成の例を示す図である。 実施形態における、画像センサの構成の例を示す図である。 実施形態における、コマンド情報を含むテーブルデータの第１例を示す図である。 実施形態における、コマンド情報を含むテーブルデータの第２例を示す図である。 実施形態における、マスク領域の例を示す図である。 実施形態における、認識領域の例を示す図である。 実施形態における、画像認識処理及び送信処理の実行タイミングの例を示す図である。 実施形態における、イベント領域の例を示す図である。 実施形態における、時刻情報の例を示す図である。 実施形態における、画像センサの動作のモードの例を示す図である。 実施形態における、ログイン用画像の例を示す図である。 実施形態における、通信機能を解除する範囲を示す図である。 実施形態における、取得及び設定の際の通信の例を示すシーケンス図である。 実施形態における、設定失敗及び未定義コマンド送信の際の通信の例を示すシーケンス図である。 実施形態における、電文の通信の第１例を示すシーケンス図である。 実施形態における、電文の通信の第２例を示すシーケンス図である。 実施形態における、シーケンス番号を付加した電文の通信の例を示すシーケンス図である。

以下、実施形態の画像センサを、図面を参照して説明する。
図１は、実施形態における、有線通信を実行する環境制御システムの構成の例を示す図である。環境制御システム１は、画像センサ１０−１〜１０−Ｎ（Ｎは、１以上の整数）と、ハブ２０と、調整装置３０と、ゲートウェイ４０と、ＢＥＭＳ５０と、環境制御装置６０と、出力装置７０とを備える。以下、画像センサ１０−１〜１０−Ｎに共通する事項については、符号を省略して、「画像センサ１０」と表記する。

画像センサ１０は、設置された場所から、空間を撮像する。画像センサ１０は、例えば、設置された天井から室内を撮像する。画像センサ１０は、撮像された画像に対する画像認識を実行する。画像センサ１０は、空間内の被写体、又は、空間内の明るさなどの環境情報を、画像認識によりセンシングする。画像センサ１０は、調整装置３０、ゲートウェイ４０、ＢＥＭＳ５０、環境制御装置６０及び出力装置７０のうち少なくとも一つとの間で、ハブ２０を介して、各種情報を送受信する。各種情報は、例えば、装置への命令又は通知を示すコマンド情報、撮像した画像、画像認識を実行するための設定情報、及び、画像認識を実行する際に生成した内部情報である。この内部情報は、例えば、画像認識の途中の結果を示す情報である。画像センサ１０の詳細については後述する。

ハブ２０は、調整装置３０、ゲートウェイ４０、ＢＥＭＳ５０又は環境制御装置６０と、画像センサ１０との間で送受信される各種情報を中継する。以下、調整装置３０、ゲートウェイ４０、ＢＥＭＳ５０、環境制御装置６０又は出力装置７０を、「外部装置」という。ハブ２０は、所定の通信規格に基づいて、各種情報を中継する。この通信規格は、例えば、イーサネット（登録商標）規格である。

調整装置３０は、例えば、パーソナルコンピュータ装置、携帯情報端末である。調整装置３０は、操作部を有する。この操作部は、例えば、キーボード、マウス又はタッチパネルである。調整装置３０は、調整員による操作に応じて、画像センサ１０を調整する。例えば、調整員は、調整装置３０の操作部を操作することにより、各種の情報を調整装置３０に入力する。調整装置３０は、画像センサ１０を調整する際、画像センサ１０が画像認識を実行するための設定情報と、コマンド情報とを、画像センサ１０との間で送受信する。調整装置３０は、画像センサ１０を調整する場合、画像センサ１０が画像認識を実行する際に生成した内部情報を、画像センサ１０から受信する。

調整装置３０は、画像センサ１０を調整する際、画像センサ１０が撮像した画像を、画像センサ１０から受信する。調整装置３０は、環境制御システム１のいずれの装置に通信可能に接続されてもよい。調整装置３０の詳細については後述する。

ゲートウェイ４０は、ハブ２０から中継された情報を、ＢＥＭＳ５０、環境制御装置６０及び出力装置７０の間で通信される通信の規格に合うようにプロトコル変換する。ゲートウェイ４０は、プロトコル変換した情報を、ＢＥＭＳ５０、環境制御装置６０及び出力装置７０に転送する。ＢＥＭＳ５０、環境制御装置６０及び出力装置７０が実行する通信規格は、例えば、ＢＡＣｎｅｔＩＰ（Building Automation and Control Networking protocol）規格である。

ＢＥＭＳ５０（Building Energy Management System）は、画像認識の結果を示す情報を、画像センサ１０から受信する。ＢＥＭＳ５０は、画像認識の結果を示す情報に基づいて、ビル内の装置を制御することにより、ビル内のエネルギー消費を制御する。なお、ＢＥＭＳ５０は、調整装置３０と同様に、画像センサ１０を調整してもよい。

環境制御装置６０は、画像認識の結果を示す情報を、画像センサ１０から受信する。環境制御装置６０は、画像認識の結果を示す情報に基づいて、所定の装置を制御することにより、予め定められた場所の環境を制御する。環境制御装置６０は、例えば、照明装置、空調装置又は放送装置などである。環境制御装置６０は、例えば、照度、温度、湿度又は音量などの環境を制御する。環境制御装置６０は、例えば、照明装置を制御することにより、その照明装置が設置された場所の照度を制御する。環境制御装置６０は、例えば、空調装置を制御することにより、その空調装置が設置された場所の温度又は湿度を制御する。

出力装置７０は、画像センサ１０、ＢＥＭＳ５０又は環境制御装置６０による制御の効果を可視化するための画像を表示する。ここで、制御の効果は、例えば、消費エネルギーの削減量、又は、エネルギーコストの削減額である。出力装置７０は、表示装置である場合、制御の効果を示す情報を画面に表示する。この場合、出力装置７０は、制御の効果を示す情報をグラフで表示してもよい。出力装置７０は、音声出力装置である場合、制御の効果を示す情報を音声で出力してもよい。

なお、環境制御システム１の各部が実行する通信規格は、どのような通信規格でもよく、限定されない。環境制御システム１は、単一又は複数の通信規格により通信を実行してもよい。例えば、環境制御システム１は、有線通信及び無線通信が混在するシステムでもよい。

図２は、実施形態における、有線通信及び無線通信を実行する環境制御システム１の構成の例を示す図である。図２では、画像センサ１０及び調整装置３０は、無線通信を実行する。ゲートウェイ４０は、有線通信及び無線通信の両方を実行する。ＢＥＭＳ５０、環境制御装置６０及び出力装置７０は、有線通信を実行する。

次に、画像センサ１０の詳細を説明する。
図３は、実施形態における、画像センサ１０の構成の例を示す図である。画像センサ１０は、撮像部１１と、画像取得部１２と、記憶部１３と、画像認識部１４と、通信部１５とを備える。画像取得部１２、画像認識部１４及び通信部１５のうち一部または全部は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサが、記憶部１３に記憶されたプログラムを実行することにより機能するソフトウェア機能部である。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。記憶部１３は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、レジスタ等を含む。

撮像部１１は、光学系と撮像素子とを有する。撮像素子は、例えば、ＣＣＤ（Charge Coupled Device）、又は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）である。撮像部１１は、画像センサ１０が設置された場所から、その周囲の空間を撮像する。

撮像された画像（ＲＡＷ画像）は、記憶部１３等に静止画像又は動画像のいずれで記憶されてもよい。静止画像として記憶される場合の静止画像フォーマットは、例えば、ビットマップ又はＪＰＥＧ（Joint Photographic Experts Group）である。動画像として記憶される場合の動画像フォーマットは、例えば、ＭＰＥＧ（Moving Picture Experts Group）又はＨ.２６４である。撮像された画像のフォーマットは、どのようなフォーマットでもよく、特定のフォーマットに限定されない。撮像された画像は、暗号化されて、特定の外部装置にしか復号できないようにしてもよい。これにより、撮像された画像は、特定の調整員しか見ることができないようにすることができる。

画像取得部１２は、撮像部１１が撮像した画像を取得する。
記憶部１３は、画像取得部１２が取得した画像、画像認識の結果を示す情報、通信部１５が送信する各種情報等を記憶する。記憶部１３は、通信部１５が受信した各種情報を記憶する。

記憶部１３が記憶しているコマンド情報は、画像センサ１０の各部が実行する処理に、例えば、直ちに反映される。記憶部１３が記憶しているコマンド情報は、画像センサ１０が再起動された際に、処理に反映されてもよい。記憶部１３が記憶しているコマンド情報は、コマンド情報の一つに反映コマンド情報が用意されている場合、その反映コマンド情報が受信された際に、処理に反映されてもよい。

画像認識部１４は、画像取得部１２が取得した画像を、設定情報に基づいて認識する。設定情報は、例えば、パラメータ情報、認識されない画像領域を示す情報（マスク情報）、及び、認識される画像領域を示す情報（エリア情報）である。画像認識部１４は、画像認識の結果を示す情報を、記憶部１３に記憶させる。

通信部１５は、外部装置との間で、各種情報を送受信する。通信部１５は、送信部１５１と、受信部１５２とを有する。
送信部１５１は、各種情報を外部装置に送信する。例えば、送信部１５１は、画像取得部１２が取得した画像を表す情報を、外部装置に送信する。例えば、送信部１５１は、画像認識の結果を示す情報を、外部装置に送信する。

送信部１５１は、受信部１５２がコマンド情報を受信した場合、コマンド情報に対する応答を表す応答コマンド情報を、そのコマンド情報を送信した外部装置に送信する。送信部１５１は、受信部１５２がコマンド情報を受信した場合、画像認識を実行するための設定情報を、そのコマンド情報を送信した外部装置に送信する。送信部１５１は、コマンド情報を受信部１５２が受信した場合、画像認識部１４が画像認識を実行する際に生成した内部情報を、そのコマンド情報を送信した外部装置に送信する。

受信部１５２は、各種情報を外部装置から受信する。例えば、受信部１５２は、コマンド情報を外部装置から受信する。例えば、受信部１５２は、画像認識を実行するための設定情報を、外部装置から受信する。受信部１５２は、受信した各種情報を、記憶部１３に記憶させる。

次に、画像センサ１０の画像認識部１４の詳細を説明する。
画像認識部１４は、画像取得部１２が取得した画像を、設定情報に基づいて認識する。画像認識部１４は、撮像部１１が撮像した画像における、人の在不在、人数、人の活動量、人の行動、明るさ又は物体のうち少なくとも一つを、設定情報とコマンド情報とに基づいて認識する。

図４は、実施形態における、コマンド情報を含むテーブルデータの第１例を示す図である。コマンド情報は、データ種別及び内容に対応付けられている。記憶部１３は、コマンド情報とデータ種別と内容との対応付けを示すテーブルデータを記憶する。コマンド情報の種類には、取得コマンド情報と、設定コマンド情報と、応答コマンド情報とがある。データ種別は、送受信されるデータの種別である。外部装置は、取得コマンド情報又は設定コマンド情報を、画像センサ１０に送信する。

図４では、取得コマンド「ＧＥＴＩＭＡＧＥ」は、データ種別「画像情報」及び内容「画像情報取得」に対応付けられている。画像認識部１４は、受信部１５２が取得コマンド「ＧＥＴＩＭＡＧＥ」を受信した場合、画像取得部１２が取得した画像を表す情報を、送信部１５１を介して、そのコマンド情報を送信した外部装置に送信する。取得コマンド「ＧＥＴＲＥＳＵＬＴ」は、データ種別「画像認識結果情報」及び内容「画像認識結果情報取得」に対応付けられている。画像認識部１４は、受信部１５２が取得コマンド「ＧＥＴＲＥＳＵＬＴ」を受信した場合、記憶部１３に記憶されているテーブルデータを参照し、画像認識の結果を示す情報を、送信部１５１を介して、そのコマンド情報を送信した外部装置に送信する。

取得コマンド「ＧＥＴＰＡＲＡＭＥＴＥＲ」は、データ種別「パラメータ情報」及び内容「パラメータ情報取得」に対応付けられている。画像認識部１４は、受信部１５２が取得コマンド「ＧＥＴＰＡＲＡＭＥＴＥＲ」を受信した場合、画像認識部１４が画像認識を実行する際に使用するパラメータ情報を、送信部１５１を介して外部装置に送信する。パラメータ情報は、記憶部１３に記憶されていてもよい。

データ種別は、コマンド情報により指定されてもよい。データ種別は、記憶部１３に記憶されているテーブルデータの配置を示すインデックスを利用して指定されてもよい。データ種別は、メモリのアドレス及びサイズに基づいて指定されてもよい。

パラメータ情報は、人の在不在を検知する感度を示す情報、及び、所定情報を保持する時間を示す情報である。パラメータ情報は、数値で表現されてもよい。パラメータ情報には、インデックスが付与されてもよい。画像認識部１４は、パラメータ情報にインデックスが付与されていない場合、パラメータ情報のデータマップを、記憶部１３に記憶させる。なお、画像認識部１４は、データマップ自体を、通信部１５を介して送受信してもよい。

パラメータ情報は、テキストデータでもよいし、バイナリデータでもよい。例えば、インデックス付のテキストデータが「パラメータａ＝１，パラメータｂ＝５，パラメータｃ＝１０＝Ａ（１６進数表記）」であり、かつ、データマップが「パラメータａ＝４バイト，パラメータｂ＝１バイト，パラメータｃ＝２バイト」である場合、インデックス付のテキストデータは、データマップに基づいて、バイナリデータ「０００００００１０５００Ａ」と書き換え可能である。

取得コマンド「ＧＥＴＭＡＳＫ」は、データ種別「マスク領域情報」及び内容「マスク情報領域取得」に対応付けられている。画像認識部１４は、受信部１５２が取得コマンド「ＧＥＴＭＡＳＫ」を受信した場合、画像認識部１４が認識されない画像領域を示す情報を、送信部１５１を介して外部装置に送信する。取得コマンド「ＧＥＴＡＲＥＡ」は、データ種別「認識領域情報」及び内容「認識領域情報取得」に対応付けられている。画像認識部１４は、受信部１５２が取得コマンド「ＧＥＴＡＲＥＡ」を受信した場合、認識される画像領域を示す情報を、送信部１５１を介して外部装置に送信する。

設定コマンド「ＳＥＴＰＡＲＡＭＥＴＥＲ」は、データ種別「パラメータ情報」及び内容「パラメータ情報設定」に対応付けられている。画像認識部１４は、受信部１５２が設定コマンド「ＳＥＴＰＡＲＡＭＥＴＥＲ」を受信した場合、画像認識を実行する際に使用するパラメータ情報を、記憶部１３に記憶させる。画像認識部１４は、パラメータ情報に基づいて画像認識を実行する。

設定コマンド「ＳＥＴＭＡＳＫ」は、データ種別「マスク領域情報」及び内容「マスク領域情報設定」に対応付けられている。画像認識部１４は、受信部１５２が設定コマンド「ＳＥＴＭＡＳＫ」を受信した場合、認識されない画像領域を示す情報を、記憶部１３に記憶させる。画像認識部１４は、認識されない画像領域を示す情報に基づいて、その認識されない画像領域（マスク領域）に対する画像認識を実行しない。設定コマンド「ＳＥＴＡＲＥＡ」は、データ種別「認識領域情報」及び内容「認識領域情報設定」に対応付けられている。画像認識部１４は、受信部１５２が設定コマンド「ＳＥＴＡＲＥＡ」を受信した場合、認識される画像領域を示す情報を、記憶部１３に記憶させる。画像認識部１４は、認識される画像領域を示す情報に基づいて、その認識される画像領域に対する画像認識を実行する。

図５は、実施形態における、コマンド情報を含むテーブルデータの第２例を示す図である。図５に示すように、コマンド情報は、割り当てられた番号に基づいて、識別されてもよい。このようにすれば、コマンド情報によってどのようなことができるのかを、調整員以外に知られないようにすることができる。図５では、取得コマンド「ＧＥＴ ０」は、取得コマンド「ＧＥＴＩＭＡＧＥ」と同じコマンド情報である。取得コマンド「ＧＥＴ １」は、取得コマンド「ＧＥＴＲＥＳＵＬＴ」と同じコマンド情報である。

コマンド「ＧＥＴ ２」は、取得コマンド「ＧＥＴＰＡＲＡＭＥＴＥＲ」と同じコマンド情報である。取得コマンド「ＧＥＴ ３」は、取得コマンド「ＧＥＴＭＡＳＫ」と同じコマンド情報である。取得コマンド「ＧＥＴ ４」は、取得コマンド「ＧＥＴＡＲＥＡ」と同じコマンド情報である。

設定コマンド「ＳＥＴ ０」は、設定コマンド「ＳＥＴＰＡＲＡＭＥＴＥＲ」と同じコマンド情報である。設定コマンド「ＳＥＴ １」は、設定コマンド「ＳＥＴＭＡＳＫ」と同じコマンド情報である。設定コマンド「ＳＥＴ ２」は、設定コマンド「ＳＥＴＡＲＥＡ」と同じコマンド情報である。

図６は、実施形態における、マスク領域の例を示す図である。画像１００は、撮像部１１が撮像した画像である。画像１００は、例えば、調整装置３０の表示部の画面に表示される。画像１００におけるマスク領域の範囲は、画像１００を見ながら調整装置３０を操作する調整員によって定められる。図６では、第１マスク領域１１０及び第２マスク領域１２０が、画像１００に重畳されて、調整装置３０の表示部の画面に表示されている。第１マスク領域１１０及び第２マスク領域１２０は、認識されない画像領域、すなわち、画像認識部１４が実行する画像認識の対象とならない領域である。

通信部１５は、認識されない画像領域を示す情報を、画像１００に重畳して外部装置との間で送受信してもよいし、画像１００に重畳せずに外部装置との間で送受信してもよい。認識されない画像領域は、例えば、画素単位で定められる。認識されない画像領域は、ｎ画素×ｎ画素（ｎは、２以上の整数）のブロック単位で定められてもよい。例えば、ＶＧＡ（６４０×４８０）の解像度を有する画像１００の原画像に、４画素×４画素のブロックが格子状に定められた場合、解像度が低減された画像１００は、１９２００（＝１６０×１２０）個のブロックを有する。認識されない画像領域（マスク領域）は、これらのブロック毎に定められてもよい。

画像認識部１４は、認識されない画像領域を示す情報に基づいて、マスク領域（非センシング領域）を画像１００上に定める。図６では、画像認識部１４は、設定コマンド「ＳＥＴＭＡＳＫ」に基づいて、第１マスク領域１１０及び第２マスク領域１２０の範囲を、画像１００上に定める。画像認識部１４は、第１マスク領域１１０及び第２マスク領域１２０の範囲を示す情報を、記憶部１３に記憶させる。

図７は、実施形態における、認識領域の例を示す図である。画像１００における認識領域の範囲は、画像１００を見ながら調整装置３０を操作する調整員によって定められる。図７では、第１認識領域１３０及び第２認識領域１４０が、画像１００に重畳されて、調整装置３０の表示部の画面に表示されている。第１認識領域１３０及び第２認識領域１４０は、認識される画像領域、すなわち、画像認識部１４が実行する画像認識の対象となる領域である。

通信部１５は、認識される画像領域を示す情報を、画像１００に重畳させてから外部装置との間で送受信してもよいし、画像１００に重畳させずに外部装置との間で送受信してもよい。認識される画像領域は、例えば、画素単位で定められる。認識される画像領域は、ｎ画素×ｎ画素（ｎは、２以上の整数）のブロック単位で定められてもよい。例えば、ＶＧＡ（６４０×４８０）の解像度を有する画像１００の原画像に、１６画素×１６画素のブロックが格子状に定められた場合、解像度が低減された画像１００は、１９２００（＝１６０×１２０）個のブロックを有する。認識される画像領域（認識領域）は、これらのブロック毎に定められてもよい。

画像認識部１４は、認識される画像領域を示す情報に基づいて、認識領域（センシング領域）を画像１００上に定める。図７では、画像認識部１４は、設定コマンド「ＳＥＴＡＲＥＡ」に基づいて、第１認識領域１３０及び第２認識領域１４０の範囲を、画像１００上に定める。画像認識部１４は、第１認識領域１３０及び第２認識領域１４０の範囲を示す情報を、記憶部１３に記憶させる。

第１認識領域１３０と、第２認識領域１４０とは、互いに異なる制御区分の装置に対応付けられた領域である。例えば、環境制御装置６０は、第１認識領域１３０に対する画像認識の結果に基づいて、第１の装置を制御する。第１の装置は、例えば、第１認識領域１３０に撮像された空間を照明する装置又は装置群である。一方、環境制御装置６０は、第２認識領域１４０に対する画像認識の結果に基づいて、第２の装置を制御する。第２の装置は、例えば、第２認識領域１４０に撮像された空間を照明する装置又は装置群である。

図８は、実施形態における、画像認識処理及び送信処理の実行タイミングの例を示す図である。横軸は、時間を表す。図８では、期間Ｔ１と、期間Ｔ２と、期間Ｔ３と、期間Ｔ４とが定められている。画像認識部１４及び送信部１５１は、例えば、リアルタイムオペレーティングシステムに基づいて動作する。画像認識部１４が実行する画像認識処理と、送信部１５１が実行する送信処理とは、異なるタスクで実行される。送信部１５１は、画像認識部１４が単位期間に画像認識を実行した結果を示す情報を、次の単位期間において、外部装置に送信する。１回の通信における通信量は、画像認識に要した時間に応じて、単位期間の終了時まで通信処理が終了するように制限される。このようにすれば、通信部１５は、各種情報を欠落なく、外部装置との間で送受信することができる。調整員は、欠落の無い各種情報に基づいて、調整の効果などを確認することができる。

図８に示すように外部装置は、画像認識の結果を示す情報を、欠落なく画像センサ１０から受信することができる。ＢＥＭＳ５０及び環境制御装置６０は、画像センサ１０による画像認識の結果を示す情報に基づいて、それぞれの制御対象の装置を制御する。また、ＢＥＭＳ５０及び環境制御装置６０は、画像認識の結果を示す情報の受信状態（欠落の有無など）に基づいて、画像センサ１０の異常の有無を判定してもよい。

送信部１５１は、画像認識の結果を示す情報に限定して、画像認識の結果を示す情報を優先して送信してもよい。送信部１５１は、コマンド情報の種類毎に、各種情報を送信してもよい。画像認識を一時停止するためのコマンド情報が定義されてもよい。画像認識部１４は、画像認識を一時停止するためのコマンド情報を受信部１５２が受信した場合、画像認識を一時停止して、時間を掛けて各種情報を受信部１５２から取得してもよい。

次に、画像認識部１４の具体的な処理について説明する。
図９は、実施形態における、イベント領域の例を示す図である。イベント領域とは、画像においてイベントが発生した領域である。また、イベントログとは、画像において発生したイベントのログである。イベント領域は、イベントログとして、記憶部１３に記憶される。画像認識部１４は、設定情報に基づいて、認識する対象とするイベントを選択する。画像認識部１４は、調整員により選択されたイベントが画像において発生したか否かを、画像認識の結果を示す情報に基づいて判定する。画像認識部１４は、画像１００においてイベントが発生した領域を示す画像を、画像１００に重畳させる。例えば、画像認識部１４は、人の在不在を認識した結果を示す枠画像を、画像１００に重畳させる。図９では、人が存在する領域は、イベント領域１５０で示されている。イベント領域１５０は、例えば、予め定められた色の枠画像で示される。

画像認識部１４は、調整員により選択されたイベントが画像１００において発生した場合、イベントのログを示す数値情報を、記憶部１３に記憶させる。例えば、画像認識部１４は、画像１００において人の在不在が変化するイベントが発生した場合、画像１００における人の座標値、人数、及び、人の活動量を示す数値情報を、生成した内部情報として記憶部１３に記憶させる。画像認識部１４は、イベントのログを示す数値情報の画像を、画像１００に重畳してもよい。

画像認識部１４は、設定情報に基づく時間周期で、イベントログを蓄積してもよい。画像認識部１４は、画像認識の結果を示す情報、及び、生成した内部情報を、イベントログとして記憶部１３に記憶させる。送信部１５１は、イベントログを外部装置に送信する。イベントログは、画像センサ１０を開発する際のデバッグ作業に使用されてもよい。

図１０は、実施形態における、時刻情報の例を示す図である。画像センサ１０は、画像１００においてイベントが発生した時刻を示す時刻情報を対応付けて、イベントログを記憶部１３に記憶させてもよい。画像センサ１０は、時刻情報を、通信部１５を介して送受信してもよい。画像センサ１０は、受信部１５２が時刻情報を受信した場合、受信した時刻情報に、自装置が基準としている時刻情報を合わせてもよい。

送信部１５１は、時刻情報を付加した通信電文を送信する。通信電文は、コマンド情報を含む電文である。通信電文は、データ種別情報及びデータ本体を更に含んでもよい。送信部１５１は、時刻情報を埋め込んだ画像１００を送信する。送信部１５１は、画像１００に時刻情報を埋め込む場合、画像１００の右下の複数の画素の輝度値を、時刻情報に置き換えてもよい。これら複数の画素は、例えば、６バイト（＝６×２５６）個の画素である。調整装置３０は、画像１００に埋め込まれた時刻情報に基づいて、画像１００において予め定められた位置に時刻情報を表示する。

通信部１５は、画像取得部１２、画像認識部１４及び通信部１５のうち一部または全部がＣＰＵ等のプロセッサである場合、時刻の経過に応じて増加するＣＰＵカウンタ値を、時刻情報の代わりに送受信してもよい。ＣＰＵカウンタ値は、イベントが発生した時刻を示す値である。

調整装置３０は、調整装置３０が基準とする時刻と、画像センサ１０のＣＰＵカウンタ値とに基づいて、送信部１５１から受信したＣＰＵカウンタ値が示す時刻を推定する。例えば、調整装置３０は、送信部１５１からイベントログを受信した時刻と、受信したイベントログに付加されたＣＰＵカウンタ値とに基づいて、そのＣＰＵカウンタ値が示す時刻を推定する。ＣＰＵカウンタ値が示す時刻は、「（現在のＣＰＵカウンタ値−過去のＣＰＵカウンタ値）／ＣＰＵの動作周波数」で表される。

なお、調整装置３０は、基準となる時刻と、調整装置３０のＣＰＵカウンタ値とに基づいて、画像センサ１０のＣＰＵカウンタ値が示す時刻を推定してもよい。画像センサ１０は、基準となる時刻と、画像センサ１０のＣＰＵカウンタ値とに基づいて、画像センサ１０のＣＰＵカウンタ値が示す時刻を推定してもよい。

図１１は、実施形態における、画像センサ１０の動作のモードの例を示す図である。画像センサ１０は、モードを遷移することにより動作する。モードには、通常モードと、調整モードと、強制出力モードと、待機モードと、リセットモードとがある。通常モードは、画像認識を実行し、必要最低限の通信処理のみ実行するモードである。調整モードは、画像認識を停止し、調整用の通信処理を調整用に実行するモードである。強制出力モードは、画像認識の結果ではなく、設定した値を強制的に試験用に出力するモードである。待機モードは、省エネ稼働用に、画像認識を停止し、起動用の通信処理のみ実行するモードである。リセットモードは、リセットによる再起動を実行し、通常モードに遷移するモードである。

画像センサ１０は、コマンド情報を受信した場合、受信したコマンド情報が示すモードへの遷移を実行する。画像センサ１０は、コマンド「ＮＯＲＭＡＬＭＯＤＥ」を受信した場合、モード「通常モード」への遷移を実行する。画像センサ１０は、コマンド「ＭＡＩＮＴＥＮＡＮＣＥＭＯＤＥ」を受信した場合、モード「調整モード」への遷移を実行する。画像センサ１０は、コマンド「ＯＵＴＰＵＴＭＯＤＥ」を受信した場合、モード「強制出力モード」への遷移を実行する。画像センサ１０は、コマンド「ＷＡＩＴＭＯＤＥ」を受信した場合、モード「待機モード」への遷移を実行する。画像センサ１０は、コマンド「ＲＥＳＥＴＭＯＤＥ」を受信した場合、モード「リセットモード」への遷移を実行する。

画像センサ１０は、モードへの遷移を実行してから所定時間が経過した場合、他のモードへの遷移を実行してもよい。例えば、画像センサ１０は、調整モードにおいて直近の通信処理を実行してから１時間が経過した場合、通常モードへの遷移を実行する。調整モードでは、画像センサ１０は、画像認識を停止することなく、設定情報をリアルタイムに反映する。画像センサ１０は、再起動後に設定情報を反映してもよい。再起動後に設定情報を反映する場合、画像センサ１０は、ブレーカを切ることなく、リセットモードを利用して個別に再起動されてもよい。

待機モードでは、画像センサ１０への電源の供給は、物理的に遮断されてよい。画像センサ１０は、電源が供給されたままソフトウェアの動作を停止させてよい。リセットモードでは、画像センサ１０は、タイマーによるリセットを実行してもよい。このタイマーは、パラメータ情報に応じて可変でもよい。

図１２は、実施形態における、ログイン用画像の例を示す図である。調整装置３０は、調整装置３０の表示部に、ログイン用画像を表示する。調整装置３０は、通信機能にパスワードロックによる制限を掛ける。調整装置３０は、アカウントを有する者がログインすることにより制限を外して、通信機能を有効にする。調整装置３０は、ログイン情報の通信機能についは制限をかけず、常時有効とする。調整装置３０は、通信が終了する度にパスワードロック（制限）をかけてもよいし、ログアウトのタイミングでパスワードロックを掛けてもよい。調整装置３０は、所定時間が経過した場合、アカウントを有する者をログアウトさせて制限を掛けてもよい。この所定時間は、パラメータ情報に応じて可変である。

図１３は、実施形態における、通信機能を解除する範囲の例を示す図である。アカウントには、開発者と、現場責任者と、現場作業者（調整者）と、ユーザとがある。調整装置３０は、アカウント毎の権限に応じて、通信機能の解除範囲を変更する。調整装置３０は、アカウント「開発者」に、全ての通信機能が有効となるよう制限を解除する。調整装置３０は、アカウント「現場責任者」に、全ての通信機能が有効となるよう制限を解除する。調整装置３０は、アカウント「現場作業者」に、現場調整する項目についてのみ通信機能が有効となるよう制限を解除する。調整装置３０は、アカウント「ユーザ」に、ユーザに開示する調整項目についてのみ通信機能が有効となるよう制限を解除する。

次に、環境制御システム１の動作を説明する。
図１４は、実施形態における、取得及び設定の際の通信の例を示すシーケンス図である。外部装置は、例えば、調整装置３０である。図１４に示す通信電文例は、一例として、コマンド情報、データ種別情報及びデータ本体から構成されている。

画像センサ１０は、取得コマンド情報等を含む通信電文を、外部装置から受信する（ステップＳ１：取得時）。
画像センサ１０は、応答コマンドと、データ種別情報に応じたデータとを、外部装置に送信する（ステップＳ２：取得時）。
画像センサ１０は、設定コマンド情報等を含む通信電文を、外部装置から受信する。画像センサ１０は、送信されたデータを、データ種別に応じて記憶部１３に記憶させる（ステップＳ３：設定時）。
画像センサ１０は、応答コマンド（設定成功コマンド）を送信する（ステップＳ４：設定時）。

図１５は、実施形態における、設定失敗及び未定義コマンド送信の際の通信の例を示すシーケンス図である。
画像センサ１０は、取得コマンド情報及びデータ種別情報等を含む通信電文を、外部装置から受信する（ステップＳａ１：設定失敗時）。
画像センサ１０は、設定コマンド情報とデータ種別情報との組合せが間違っている場合、エラー応答コマンドを外部装置に送信する（ステップＳａ２：設定失敗時）。
画像センサ１０は、未定義コマンドを受信した場合、未定義コマンドをノイズとみなして無視する。画像センサ１０は、エラー応答コマンドを外部装置に送信してもよい（ステップＳａ３：未定義コマンド）。

図１６は、実施形態における、電文の通信の第１例を示すシーケンス図である。画像センサ１０は、電文バージョン情報が組み込まれた通信電文を送受信する。図１６では、画像センサ１０（ｖ０１．００．００）は、人の在不在を認識する機能を有しているものとする。画像センサ１０（ｖ０１．００．００）は、人の活動量を認識する機能を有していないものとする。

画像センサ１０は、取得コマンド「ＧＥＴＲＥＳＵＬＴ」と、電文バージョン情報（ｖ０１．００．００）が対応するデータ種別「Ｔ０１００００」と、を含む通信電文を受信する（ステップＳｂ１）。
画像センサ１０は、応答コマンド「ＲＥＴＵＲＮＲＥＳＵＬＴ」と、人の在不在を認識した結果を示す情報と、を含む通信電文を送信する（ステップＳｂ２）。
画像センサ１０は、取得コマンド「ＧＥＴＲＥＳＵＬＴ」と、電文バージョン情報（ｖ０１．００．００）が対応しないデータ種別「Ｔ０２００００」と、を含む通信電文を受信する（ステップＳｂ３）。
画像センサ１０は、エラー応答コマンドを含む通信電文を送信する（ステップＳｂ４）。

図１７は、実施形態における、電文の通信の第２例を示すシーケンス図である。図１７では、画像センサ１０（ｖ０２．００．００）は、人の在不在を認識する機能を有しているものとする。画像センサ１０（ｖ０２．００．００）は、ソフトウェアのバージョンアップにより、人の活動量を認識する機能を有しているものとする。

画像センサ１０は、取得コマンド「ＧＥＴＲＥＳＵＬＴ」と、電文バージョン情報（ｖ０２．００．００）が対応するデータ種別「Ｔ０１００００」と、を含む通信電文を受信する（ステップＳｃ１）。
画像センサ１０は、応答コマンド「ＲＥＴＵＲＮＲＥＳＵＬＴ」と、人の在不在を認識した結果を示す情報と、を含む通信電文を送信する（ステップＳｃ２）。
画像センサ１０は、取得コマンド「ＧＥＴＲＥＳＵＬＴ」と、電文バージョン情報（ｖ０２．００．００）が対応するデータ種別「Ｔ０２００００」と、を含む通信電文を受信する（ステップＳｃ３）。
画像センサ１０は、応答コマンド「ＲＥＴＵＲＮＲＥＳＵＬＴ」と、人の活動量を認識した結果を示す情報と、を含む通信電文を送信する（ステップＳｃ４）。

図１８は、実施形態における、シーケンス番号を付加した電文の通信の例を示すシーケンス図である。画像センサ１０は、シーケンス番号が組み込まれた通信電文を送受信する。外部装置は、通信電文を送信する毎にシーケンス番号を値１ずつ増加させる。
画像センサ１０は、取得コマンド「ＧＥＴＲＥＳＵＬＴ」と、シーケンス番号「Ｔ０００００１」と、を含む通信電文を受信する（ステップＳｄ１）。
画像センサ１０は、応答コマンド「ＲＥＴＵＲＮＲＥＳＵＬＴ」と、人の在不在を認識した結果を示す情報と、を含む通信電文を送信する（ステップＳｄ２）。

画像センサ１０は、取得コマンド「ＧＥＴＲＥＳＵＬＴ」と、シーケンス番号「Ｔ０００００２」と、を含む通信電文を受信する。画像センサ１０は、今回のシーケンス番号「Ｔ０００００２」が前回のシーケンス番号「Ｔ０００００１」より値１だけ増加しているか否かを判定する（ステップＳｄ３）。

画像センサ１０は、応答コマンド「ＲＥＴＵＲＮＲＥＳＵＬＴ」と、人の活動量を認識した結果を示す情報と、を含む通信電文を送信する（ステップＳｄ４）。
画像センサ１０は、取得コマンド「ＧＥＴＲＥＳＵＬＴ」と、シーケンス番号「Ｔ０００００２」と、を含む通信電文を受信する。画像センサ１０は、今回のシーケンス番号「Ｔ０００００２」が前回のシーケンス番号「Ｔ０００００２」より値１だけ増加しているか否かを判定する（ステップＳｄ５）。
画像センサ１０は、今回のシーケンス番号「Ｔ０００００２」が前回のシーケンス番号「Ｔ０００００２」より値１だけ増加していない場合、エラー応答コマンドを外部装置に送信する（ステップＳｄ６）。

以上のように、画像センサ１０は、撮像部１１と、送信部１５１と、受信部１５２と、画像認識部１４と、を備える。撮像部１１は、空間を撮像する。受信部１５２は、画像認識の条件を定める設定情報を受信する。画像認識部１４は、設定情報に基づいて、空間が撮像された画像に対する画像認識を実行する。送信部１５１は、画像認識の結果を示す情報と、画像を表す情報と、を送信する。

この構成により、受信部１５２は、画像認識の条件を定める設定情報を受信する。画像認識部１４は、設定情報に基づいて、空間が撮像された画像に対する画像認識を実行する。送信部１５１は、画像認識の結果を示す情報と、画像を表す情報と、を送信する。これにより、実施形態の画像センサ１０は、センサの調整の効果を目視で確認することができる。

実施形態の画像センサ１０は、撮像された静止画像及び動画像の少なくとも一方を、画像センサ１０と外部装置（例えば、調整装置３０、ゲートウェイ４０、ＢＥＭＳ５０）に出力するので、調整の効果（例えば、画像における領域と、実空間との対応）を目視確認させることができる。 実施形態の画像センサ１０は、画像センサ１０と外部装置（例えば、調整装置３０、ゲートウェイ４０）との間で、内部情報及び設定情報を送受信することにより、調整の効果を効果的に確認させることができる。実施形態の画像センサ１０は、レンズやフィルタの交換による物理的な調整が不要であり、数値による調整ができる。実施形態の画像センサ１０は、赤外線リモートコントローラによる調整が不要のため、調整項目が限定されない。実施形態の画像センサ１０は、イーサネット（登録商標）のような高速な通信機能を搭載することにより、細かな項目についても調整が可能である。

実施形態の設定情報は、人の在不在を検知する感度を示す情報、所定情報を保持する時間を示す情報、認識されない画像領域（マスク領域）を示す情報、又は、認識される画像領域（認識領域）を示す情報のうち、少なくとも一つを含む。
実施形態の画像認識部１４は、画像における、人の在不在、人数、人の活動量、人の行動、明るさ又は物体のうち少なくとも一つを、設定情報に基づいて認識する。

実施形態の受信部１５２は、命令又は通知を示すコマンド情報を受信する。実施形態の送信部１５１は、画像認識の結果を示す情報、画像を表す情報、又は、設定情報を、コマンド情報に応じて送信する。
実施形態の受信部１５２は、数値を含む設定情報を受信する。

実施形態の送信部１５１は、画像認識部が画像認識を実行する際に生成した情報を送信する。
実施形態の送信部１５１は、時刻に応じた情報を送信する。
実施形態の受信部１５２は、動作モード情報を受信する。実施形態の画像認識部１４は、動作モード情報に応じて、画像認識を実行する処理を実行又は停止する。
実施形態の受信部１５２は、パスワード情報を受信する。実施形態の送信部１５１は、パスワード情報が正しい否かを判定し、パスワード情報が正しい場合、画像認識の結果を示す情報と、画像を表す情報と、を送信する。

以上述べた少なくともひとつの実施形態の画像センサによれば、画像認識の条件を定める設定情報を受信部が受信し、設定情報に基づいて、空間が撮像された画像に対する画像認識を画像認識部が実行し、画像認識の結果を示す情報と、画像を表す情報とを送信する送信部を持つことにより、センサの調整の効果を目視で確認することができる。

以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…環境制御システム、１０…画像センサ、１１…撮像部、１２…画像取得部、１３…記憶部、１４…画像認識部、１５…通信部、２０…ハブ、３０…調整装置、４０…ゲートウェイ、５０…ＢＥＭＳ、６０…環境制御装置、７０…出力装置、１００…画像、１１０…第１マスク領域、１２０…第２マスク領域、１３０…第１認識領域、１４０…第２認識領域、１５０…イベント領域、１５１…送信部、１５２…受信部、１６０…時刻情報

Claims (9)

1. 空間を撮像する撮像部と、
   画像認識の条件を定める設定情報を受信する受信部と、
   前記設定情報に基づいて、前記空間が撮像された画像に対する画像認識を実行する画像認識部と、
   前記画像認識の結果を示す情報と、前記画像を表す情報と、を送信する送信部と、
   を備える画像センサ。
2. 前記設定情報は、人の在不在を検知する感度を示す情報、所定情報を保持する時間を示す情報、認識されない画像領域を示す情報、及び、認識される画像領域を示す情報のうち、少なくとも一つを含む請求項１に記載の画像センサ。
3. 前記画像認識部は、前記画像における、人の在不在、人数、人の活動量、人の行動、明るさ又は物体のうち少なくとも一つを、前記設定情報に基づいて認識する請求項１又は請求項２に記載の画像センサ。
4. 前記受信部は、命令又は通知を示すコマンド情報を受信し、
   前記送信部は、前記画像認識の結果を示す情報、前記画像を表す情報、又は、前記設定情報を、前記コマンド情報に応じて送信する請求項１から請求項３のいずれか一項に記載の画像センサ。
5. 前記受信部は、数値を含む前記設定情報を受信する請求項１から請求項４のいずれか一項に記載の画像センサ。
6. 前記送信部は、前記画像認識部が前記画像認識を実行する際に生成した情報を送信する請求項１から請求項５のいずれか一項に記載の画像センサ。
7. 前記送信部は、時刻に応じた情報を送信する請求項１から請求項６のいずれか一項に記載の画像センサ。
8. 前記受信部は、動作モード情報を受信し、
   前記画像認識部は、前記動作モード情報に応じて、前記画像認識を実行する処理を実行又は停止する請求項１から請求項７のいずれか一項に記載の画像センサ。
9. 前記受信部は、パスワード情報を受信し、
   前記送信部は、前記パスワード情報が正しい否かを判定し、前記パスワード情報が正しい場合、前記画像認識の結果を示す情報と、前記画像を表す情報と、を送信する請求項１から請求項８のいずれか一項に記載の画像センサ。