JP2022139242A - 撮像制御装置、撮像システム、撮像制御方法及びプログラム - Google Patents

Abstract

【課題】本発明は、撮像装置に搭載された補助処理装置の動作不良を簡易に特定することを目的とする。【解決手段】撮像制御装置は、撮像された第１画像を処理することで得られる第１信号情報を予め記憶する。撮像制御装置は第１画像を送信し、撮像制御装置は記憶された第１画像を処理する。撮像制御装置は、第１信号情報と、第１画像を処理することにより得られる第２信号情報との一致に基づいて、撮像制御装置が異常であるか否かを判定する。【選択図】図２５

Description

本発明は、撮像制御装置、撮像システム、撮像制御方法及びプログラムに関する。

近年、様々なシーンにおいて、監視カメラで撮像した画像を用いて、物体の検出、追尾及び属性の推定等を行う画像解析が行われている。また、画像解析結果に基づいて、物体数の推定等の画像処理が行われている。従来、ＰＣ及びサーバ等の高性能な演算装置が、監視カメラの映像等に対して画像処理を行っている。一方、近年のモバイル用演算装置の処理能力の向上に伴い、監視カメラが、映像等の画像処理を行うことが可能となっている。監視カメラによる画像処理は、例えば、カメラ本体に搭載された演算装置によって実行される。また、ＵＳＢ等の補助処理装置は、それに演算装置を搭載することが可能である。監視カメラは、上記の補助処理装置をカメラに搭載することができ、監視カメラの演算装置が行う画像処理の一部を補助処理装置の演算装置に実行させることもできる。しかし、補助処理装置が動作不良を起こした場合、動作不良の原因に応じて対処方法が異なるため、動作不良の原因を特定するための診断が必要となる。一方で、補助処理装置が有するＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）に実装できる回路規模には限界がある。特許文献１には、マイクロプロセッサ回路の内部メモリの検査及び動作不良原因の特定を行う方法として、着脱可能なメモリカードに検査プログラムと内部メモリの代替となるメモリ空間を搭載する技術が記載されている。

特開平１０－５５３１９号公報

しかしながら、ＦＰＧＡの動作不良を特定するために、ユーザが撮像装置に対し、メモリカードを装着しなければならないという課題がある。

本発明は、撮像装置に搭載された補助処理装置の動作不良を簡易に特定することを目的とする。

本発明の目的を達成するために、本発明の一実施形態に係る撮像制御装置は、以下の構成を備える。すなわち、撮像された第１画像を処理することで得られる第１信号情報を予め記憶する第１記憶手段と、前記第１画像を前記第１記憶手段とは異なる第２記憶手段に送信する第１処理手段と、前記第２記憶手段に記憶された前記第１画像を処理する第２処理手段と、前記第１信号情報と、前記第２処理手段が前記第１画像を処理することにより得られる第２信号情報との一致に基づいて、前記第２処理手段と前記第２記憶手段の少なくともいずれかが異常であるか否かを判定する判定手段を備えることを特徴とする。

本発明によれば、撮像装置に搭載された補助処理装置の動作不良を簡易に特定することができる。

本実施形態に係る撮像システムの構成図。 本実施形態に係る撮像装置の構成図。 本実施形態に係る撮像装置の機能を示すブロック図。 本実施形態に係る補助処理装置の構成図。 本実施形態に係る補助処理装置の機能を示すブロック図 本実施形態に係る入出力装置の構成図。 本実施形態に係る入出力装置の機能を示すブロック図。 本実施形態に係る撮像システムの処理のフローチャート。 本実施形態に係る解析処理のフローチャート。 本実施形態に係る解析処理の内容を決定するフローチャート。 本実施形態に係る解析処理を実行するフローチャート。 本実施形態に係る後処理のフローチャート。 本実施形態に係るコマンドとレスポンスの構成図。 本実施形態に係る処理機能の情報を格納しているアドレス内のデータを示す図。 本実施形態に係る撮像装置が取得する情報の一例を示す図。 本実施形態に係る記憶処理と画像解析処理を切り替える処理のフローチャート。 本実施形態に係る記憶処理と画像解析処理を切り替える処理のフローチャート。 本実施形態に係る記憶処理と画像解析処理を切り替える処理のフローチャート。 本実施形態に係るユーザインタフェース。 本実施形態に係る処理結果を表示するユーザインタフェース。 本実施形態に係る顔認証処理のための画像解析処理群を示す図。 本実施形態に係る処理機能の選択処理を示すフローチャート。 本実施形態に係る処理機能の選択処理を示すフローチャート。 本実施形態に係る処理機能の選択処理を示すフローチャート。 本実施形態に係る故障診断処理のフローチャート。 本実施形態に係る故障診断結果をユーザインタフェースに表示した図。 本実施形態に係る補助処理装置の構成図。 本実施形態に係る故障診断処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

（第１実施形態）
以下では、本実施形態に係る撮像システム１０について説明する。

図１は、本実施形態の撮像システム１０の構成の一例を示す。撮像システム１０が、特定人物追跡システムである場合について説明する。ただし、撮像システム１０は、上記に限定されず、画像を解析することで所定の情報を出力する任意のシステムに適用されてよい。撮像システム１０は、撮像装置１１０ａ、撮像装置１１０ｂ、撮像装置１１０ｃ、撮像装置１１０ｄ、ネットワーク１２０、情報処理装置１３０を含む。また、撮像システム１０は、補助処理装置１００ａ、補助処理装置１００ｂ、補助処理装置１００ｃ、補助処理装置１００ｄを含む。なお、撮像装置１１０ａから撮像装置１１０ｄは、例えば撮像画像を記録可能なデバイス（例えばＳＤカード）を着脱可能とするスロットをそれぞれ有する。各撮像装置が有するスロットに補助処理装置１００ａから補助処理装置１００ｄが挿入されることで、両者は接続される。以下では、補助処理装置の代表例として補助処理装置１００ａと、撮像装置の代表例として撮像装置１１０ａを用いて説明する。

補助処理装置１００ａは、撮像装置１１０ａに対して着脱可能な演算デバイスである。補助処理装置１００ａは、一例として、ＳＤカードに所定の処理回路を搭載したデバイスである。補助処理装置１００ａは、例えば、ＳＤカードの態様に応じて、撮像装置１１０ａにその全体が挿入可能なように構成される。これにより、補助処理装置１００ａは、撮像装置１１０ａから突出する部分がない状態で、撮像装置１１０と接続される。補助処理装置１００ａは、撮像装置１１０ａ周辺の配線等の障害物と干渉しないため、撮像装置１１０ａを配置する際の利便性が向上する。また、通常のネットワークカメラ等を含む撮像装置１１０ａは、ＳＤカードスロットを備えているため、補助処理装置１００ａは撮像装置１１０ａに拡張機能を提供することができる。なお、補助処理装置１００ａは、ＳＤカードの態様以外に、撮像装置１１０ａで撮影された画像を記憶可能な記憶装置であってもよい。例えば、補助処理装置１００ａは、ＵＳＢインタフェースを有していてもよく、それは撮像装置１１０ａのＵＳＢソケットに装着されるように構成されてもよい。また、所定の処理回路は、例えば、所定の処理を実行するようにプログラムされたＦＰＧＡであるが、それ以外の形式であってもよい。

撮像装置１１０ａは、例えばネットワークカメラ等の撮像装置である。本実施形態で撮像装置１１０ａは、画像処理等が可能な演算装置を内蔵するが、これに限定されることはない。例えば、撮像装置１１０ａに接続されたＰＣ等の情報処理装置（不図示）が存在してもよく、これらの組み合わせを、撮像装置１１０ａとしてもよい。また、本実施形態では、全ての撮像装置に対し各補助処理装置が装着されている。図１で、４つの撮像装置にそれぞれ装着された補助処理装置を示しているが、撮像装置と補助処理装置の組み合わせは、例えば３つ以下であってもよいし、５つ以上であってもよい。画像解析処理機能を有する補助処理装置１００ａが、撮像装置１１０ａに装着されることで、撮像装置１１０ａが画像解析処理機能を有していなくても、撮像装置１１０ａが画像処理を行うことができる。また、本実施形態のように撮像装置１１０ａに画像処理用の演算装置が搭載されている場合、演算装置を搭載した補助処理装置１００ａが、撮像装置１１０ａに装着されることにより、撮像装置１１０ａの実行可能な画像処理を多様化及び高度化することができる。

情報処理装置１３０は、ユーザからの入力の受け付けや、ユーザへの情報の出力（例えば、画像の表示）を行う装置である。本実施形態では、例えば情報処理装置１３０は、ＰＣ等のコンピュータであり、そのコンピュータにインストールされたブラウザやネイティブアプリケーションによって、情報の入出力が行われる。なお、情報処理装置１３０は、スマートフォン、タブレット、ＰＤＡ等の表示部と入力部が一体となった携帯情報端末であってもよい。

全ての撮像装置と情報処理装置１３０は、ネットワーク１２０を介して相互に通信可能なように接続される。ネットワーク１２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格を満たす複数のルータ、スイッチ、ケーブル等を含む。本実施形態では、ネットワーク１２０は、全ての撮像装置と情報処理装置１３０との間の通信を可能とする任意のネットワークであってよく、任意の規模及び通信規格で構成されてよい。例えば、ネットワーク１２０は、インターネット、有線ＬＡＮ、無線ＬＡＮ、ＷＡＮ等であってよい。また、ネットワーク１２０は、例えば、ＯＮＶＩＦ（Ｏｐｅｎ Ｎｅｔｗｏｒｋ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ Ｆｏｒｕｍ）規格に準拠した通信プロトコルでの通信が可能なように構成されてよい。ただし、これに限られず、ネットワーク１２０は、例えば、独自の通信プロトコル及び他の通信プロトコル等で通信が可能なように構成されてもよい。

図２は、撮像装置１１０ａの構成の一例を示す図である。撮像装置１１０ａは、撮像部２０１、画像処理部２０２、演算処理部２０３、配信部２０４、Ｉ／Ｆ部２０５を含む。なお、撮像装置１１０ｂから撮像装置１１０ｃは、撮像装置１１０ａと同様の構成を含む。撮像部２０１は、光を結像するためのレンズと、レンズで結像された光に応じたアナログ信号を変換するための撮像素子を含む。レンズは、画角を調整するズーム機能と、光量の調整を行う絞り機能等を有する。撮像素子は、光をアナログ信号に変換する際の感度調整を行うゲイン機能を有する。これらの機能は、画像処理部２０２から通知された設定値に基づいて調整される。撮像部２０１によって取得されたアナログ信号は、アナログ－デジタル変換回路によってデジタル信号に変換され、画像信号として画像処理部２０２へ転送される。

画像処理部２０２は、画像処理エンジンと、その周辺デバイス等を含む。周辺デバイスは、例えば、ＲＡＭ及び各Ｉ／Ｆのドライバ等を含む。画像処理部２０２は、撮像部２０１で取得した画像信号に対して、例えば、現像処理、フィルタ処理、センサ補正、ノイズ除去等の画像処理を行うことで画像データを生成する。また、画像処理部２０２は、適切な露出画像を取得できるように、レンズ及び撮像素子へ設定値を送信することで露出調整を実行する。画像処理部２０２で生成された画像データは、演算処理部２０３へ転送される。

演算処理部２０３は、ＣＰＵとＭＰＵ（Ｍｉｃｒｏ ＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）等の１つ以上のプロセッサ、ＲＡＭとＲＯＭ等のメモリ、各Ｉ／Ｆのドライバを含む。演算処理部２０３は、撮像システム１０で実行される処理について、撮像装置１１０ａと補助処理装置１００ａのそれぞれが処理する分担を決定する。演算処理部２０３は、決定した分担に基づいて、処理を行う。処理内容と処理の分担の詳細は、後述する。画像処理部２０２が送信した画像データは、配信部２０４又はＩ／Ｆ部２０５へ転送される。また、演算処理部２０３による処理結果のデータは、配信部２０４へ転送される。

配信部２０４は、ネットワーク配信エンジンと、例えば、ＲＡＭとＥＴＨ ＰＨＹモジュール等の周辺デバイスを含む。ＥＴＨ ＰＨＹモジュールとは、Ｅｔｈｅｒｎｅｔの物理（ＰＨＹ）レイヤの処理を実行するモジュールである。配信部２０４は、演算処理部２０３から取得した画像データと処理結果のデータを、ネットワーク１２０へ配信可能な形式に変換し、変換されたデータをネットワーク１２０へ出力する。Ｉ／Ｆ部２０５は、補助処理装置１００ａと接続するためのインタフェース部分である。Ｉ／Ｆ部２０５は、例えば、電源と、補助処理装置１００ａを着脱するための着脱ソケット等の装着機構を含む。なお、Ｉ／Ｆ部２０５は、ＳＤアソシエーションにより策定されたＳＤ規格に従って構成されてよい。Ｉ／Ｆ部２０５は、演算処理部２０３で取得した画像データを補助処理装置１００ａへ転送することができ、補助処理装置１００から撮像装置１１０ａへのデータ転送を行うことができる。つまり、補助処理装置１００ａと撮像装置１１０ａの間の通信は、Ｉ／Ｆ部２０５を介して行われる。

図３は、撮像装置１１０ａの機能を示すブロック図を示す。撮像装置１１０ａは、撮像制御部３０１、信号処理部３０２、記憶部３０３、制御部３０４、解析部３０５及び通信部３０６を含む。なお、撮像装置１１０ｂから撮像装置１１０ｃは、撮像装置１１０ａと同様の構成を含む。

撮像制御部３０１は、撮像部２０１を介して撮像装置１１０ａの周囲の環境を撮影する制御を実行する。信号処理部３０２は、撮像制御部３０１によって撮影された画像に対して所定の処理を行い、撮影画像のデータを生成する。信号処理部３０２は、例えば、撮像制御部３０１によって撮影された画像を符号化する。信号処理部３０２は、静止画像に対して、例えば、ＪＰＥＧ等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、動画像に対して、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ（以下、Ｈ．２６４）、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）等の符号化方式を用いて符号化を行う。また、信号処理部３０２は、予め設定された複数の符号化方式の中から、例えば撮像装置１１０ａの操作部（不図示）を介して、ユーザにより選択された符号化方式を用いて、画像を符号化してもよい。

記憶部３０３は、解析部３０５において実行可能な解析処理のリスト（以下、第１処理リスト）と、解析処理の結果に対する後処理のリストを記憶する。また、記憶部３０３は、後述する解析処理の結果を記憶する。なお、本実施形態では、解析処理の他に任意の処理が実行されてもよい。記憶部３０３は、任意の処理に関連する処理について、第１処理リストと後処理のリストを記憶する。制御部３０４は、撮像装置１１０ａの全般的な制御を行い、信号処理部３０２、記憶部３０３、解析部３０５及び通信部３０６を制御する。

解析部３０５は、撮影画像に対して、後述する解析前処理、解析処理、解析後処理の少なくともいずれかを選択することで解析を実行する。解析前処理は、撮影画像の解析処理を実行する前に、撮影画像に対して実行する処理のことである。解析前処理は、撮影画像を分割した分割画像を作成する処理のことをいう。解析処理は、入力された分割画像を解析することで得られる情報を出力する処理のことである。解析処理は、解析前処理によって得られた分割画像を入力として、人体検出処理、顔検出処理、車両検出処理の少なくともいずれかを実行する。解析処理は、上記の検出処理に係る解析処理結果を出力する。

解析処理は、例えば特許文献１のように、画像に含まれるオブジェクトを検出できるように学習が行われた機械学習モデルを用いて、分割画像中のオブジェクトの位置を出力する処理であってよい。解析後処理は、解析処理を実行した後に実行する処理である。解析後処理は、各分割画像に対する解析処理結果に基づいて、各分割画像において検出されたオブジェクトの数を合計した値を処理結果として出力する処理である。なお、解析処理は、学習データに基づいてパターンマッチングを行うことで画像中のオブジェクトを検出してもよく、オブジェクトを検出した位置を出力するものであってよい。

通信部３０６は、補助処理装置１００ａと通信を行う。通信部３０６は、入力された画像データを補助処理装置１００ａによって処理可能な形式に変換し、その変換で得られた画像データを補助処理装置１００に送信する。また、通信部３０６は、補助処理装置１００ａからデータを受信し、受信したデータを撮像装置１１０ａが処理可能な形式に変換する。本実施形態では、通信部３０６は、変換処理として、小数について浮動小数点形式から固定小数点形式へ変換する処理を実行するが、これに限定されることはない。他の変換処理が、通信部３０６によって実行されてもよい。また、通信部３０６は、補助処理装置１００ａにＳＤ規格の範囲内で事前に定められたコマンドシーケンスを送信し、補助処理装置１００からの応答を受信することができる。これにより、通信部３０６は、撮像装置１１０ａと補助処理装置１００ａの間の通信を行うことができる。通信部３０６はまた、ネットワーク１２０を介して、情報処理装置１３０との通信を行うことができる。

図４は、補助処理装置１００ａの構成を示す図である。補助処理装置１００ａは、Ｉ／Ｆ部４０１、回路４０２（ＦＰＧＡ）、コントローラ４０３及び記憶部４０４を含む。なお、補助処理装置１００ｂから補助処理装置１００ｄは、補助処理装置１００ａと同様の構成を含む。補助処理装置１００ａは、撮像装置１１０ａが有するＩ／Ｆ部２０５の着脱ソケットに挿抜できる形状として、例えばＳＤ規格に準拠した形状を有する。

Ｉ／Ｆ部４０１は、撮像装置１１０ａ等の装置と補助処理装置１００ａを接続するためのインタフェース部分である。Ｉ／Ｆ部４０１は、電気的な接点端子等であり、例えば撮像装置１１０ａから電源の供給を受け、補助処理装置１００ａ内で使用する電源を生成及び分配する。Ｉ／Ｆ部４０１は、撮像装置１１０ａのＩ／Ｆ部２０５と同様に、ＳＤ規格に準拠するものとする。撮像装置１１０ａからの画像及び設定データの受信と、回路４０２から撮像装置１１０ａへのデータの送信は、Ｉ／Ｆ部４０１を介して実行される。

回路４０２は、制御部４１０、切替部４１１及び処理部４１２を含む。回路４０２は、ＦＰＧＡであり、内部の論理回路構造を繰り返し再構成できる半導体デバイスの一種である。補助処理装置１００ａが装着された撮像装置１１０ａは、回路４０２が有する処理機能により、処理機能が追加される。また、回路４０２の再構成機能は、論理構造を設定した後でも論理回路構造を変更することができる。そのため、例えば技術の進歩が早い分野の装置（不図示）に対し補助処理装置１００ａを装着することにより、補助処理装置１００ａは装置に適した処理を実行することが可能となる。なお、本実施形態では、ＦＰＧＡが用いられる例について説明するが、ＦＰＧＡと同様の処理を実現できるのであれば、例えば汎用のＡＳＩＣ及び専用のＬＳＩが用いられてもよい。

回路４０２は、生成される論理回路構造の情報を含んだ設定データが専用のＩ／Ｆから書き込まれることにより、又は、その設定データがその専用のＩ／Ｆから読み出されることによって起動される。本実施形態では、この設定データが記憶部４０４に保持されている。回路４０２は、補助処理装置１００ａに電源が投入されると、記憶部４０４から設定データを読み出し、論理回路を生成して起動する。起動方法はこれに限られず、例えば、補助処理装置１００ａ内に専用回路を実装し、Ｉ／Ｆ部４０１を介して撮像装置１１０ａが回路４０２に設定データを書き込んでもよい。

制御部４１０は、撮像装置１１０ａと補助処理装置１００ａの間で画像を送受信するための回路と、撮像装置１１０ａから受信したコマンドを解析する回路と、解析結果に基づいて制御を行う回路を含む。コマンドは、ＳＤ規格に準拠しているものであり、制御部４１０はそれらのコマンドのうちのいくつかを検出することができる。制御部４１０は、記憶処理を行う場合にコントローラ４０３へ画像を送信し、画像解析処理を行う場合に処理部４１２へ画像を送信するように制御を行う。また、制御部４１０は、処理の切り替えを行う設定データを受信した場合、切替部４１１へ設定データを送信する。切替部４１１は、撮像装置１１０ａから受信した設定データに基づいて、記憶部４０４から画像解析処理機能の情報を取得し、その情報を処理部４１２に書き込むための回路を含む。画像解析処理機能の情報は、例えば、処理部４１２内で処理される演算の順序、種類、演算係数を含む設定パラメータである。

処理部４１２は、画像解析処理機能を実行するために必要な複数の演算回路を含む。処理部４１２は、切替部４１１から受信した画像解析処理機能の情報に基づいて、各演算処理を実行する。処理部４１２は、その処理結果を撮像装置１１０ａへ送信し、必要に応じて、その処理結果を記憶部４０４に記録する。このように、回路４０２は、事前に保持された複数の処理機能に対応する設定データから、処理部４１２が実行する処理機能の設定データを抽出する。回路４０２は、抽出した設定データに基づいて、処理部４１２によって実行される処理内容を書き換える。これにより、補助処理装置１００ａが、複数の処理機能のうちの少なくともいずれかを選択的に実行することができる。また、新規に追加する処理の設定データを随時追加することにより、撮像装置１１０ａは補助処理装置１００ａに最新の処理を実行させることができる。

以下では、複数の処理機能のそれぞれに対応する複数の設定データを有していることを、複数の処理機能を有すると表現する。すなわち、補助処理装置１００ａの回路４０２が、１つの処理機能を実行するように構成されている状態であっても、他の処理機能を含む設定データにより、処理部４１２の処理内容を変更することができる場合、複数の処理機能を有する。

コントローラ４０３は、ＳＤ規格に準拠するような公知のコントロールＩＣ（集積回路）であり、ＳＤプロトコルのスレーブ動作の制御と、記憶部４０４に対するデータの読み書きの制御を実行する。記憶部４０４は、例えばＮＡＮＤ型フラッシュメモリによって構成され、例えば、撮像装置１１０ａから書き込まれた記憶データ、処理部４１２に書き込まれる画像解析処理機能の情報、回路４０２の設定データ等の各種情報を記憶する。

図５は、補助処理装置１００ａの機能の一例を示す。補助処理装置１００ａは、解析部５０１及び通信部５０２を含む。解析部５０１は、画像に対する解析処理を実行する。解析部５０１は、例えば、解析処理設定要求を入力された場合に、入力された解析処理を実行可能な状態にするための設定を実行する。また、解析部５０１は、画像が補助処理装置１００ａに入力された場合、入力画像に対して、実行可能な状態に設定された解析処理を実行する。本実施形態では、実行可能な解析処理は、人体検出処理と顔検出処理であるが、これらに限られない。例えば、事前に記憶された人物が画像に含まれるか否かを判定する処理である顔認証処理であってもよい。解析部５０１は、例えば、事前に記憶された人物の画像特徴量と、入力された画像から検出された人物の画像特徴量との一致度合いを算出し、一致度合いが閾値以上の場合に事前に記憶された人物であると判定する。

また、解析処理は、プライバシー保護を目的として、入力画像から検出された人物に対して、所定のマスク画像を重畳したり、モザイク処理を施したりする処理であってもよい。また、人物の特定の行動を機械学習によって学習した学習モデルを用いて、画像中の人物が特定の行動を行っているか否かを検出する処理であってもよい。さらには、画像中の領域がどのような領域なのかを判定する処理であってもよい。例えば、建物、道路、人物及び空等を機械学習によって学習した学習モデルを用いて、画像中の領域がどのような領域なのかを判定する処理であってもよい。以上のように、実行可能な解析処理は、機械学習を用いた画像解析処理にも、機械学習を用いない画像解析処理にも応用可能である。また、上記の各解析処理は、補助処理装置１００ａが単独で行うのではなく、撮像装置１１０ａと協働して実行されてもよい。通信部５０２は、Ｉ／Ｆ部４０１を介して、撮像装置１１０ａと通信を行う。

図６は、情報処理装置１３０の構成の一例を示す。情報処理装置１３０は、一般的なＰＣ等のコンピュータであり、例えば、図６に示すように、ＣＰＵ６０１、ＲＡＭ６０２、ＲＯＭ６０３、ＨＤＤ６０４及びＩ／Ｆ６０５を含む。情報処理装置１３０は、ＣＰＵ６０１が、メモリ及び記憶装置に格納されたプログラムを実行することにより、各種機能を実行することができる。

図７は、本実施形態に係る情報処理装置１３０の機能の一例を示す。情報処理装置１３０は、通信部７０１、制御部７０２、表示部７０３、及び操作部７０４を含む。通信部７０１は、ネットワーク１２０と接続され、ネットワーク１２０を介して撮像装置１１０等の外部装置（不図示）との通信を実行する。これに限定されず、例えば、通信部７０１は、撮像装置１１０ａに対する直接的な接続を確保し、ネットワーク１２０及び他の装置を介さずに、撮像装置１１０と通信を行ってもよい。制御部７０２は、通信部７０１、表示部７０３及び操作部７０４がそれぞれの処理を実行することができるように制御する。

表示部７０３は、例えばＬＣＤ及び有機ＥＬ等を含むディスプレイであり、ユーザに各種情報を提示することができる。表示部７０３は、ブラウザがレンダリングした結果（例えば、画像）をディスプレイに表示することによって、結果がユーザに提示される。なお、ディスプレイ表示以外の方法として、例えば音声と振動等でユーザに情報を伝達してもよい。操作部７０４は、ユーザからの操作を受け付ける。操作部７０４は、例えばマウス、キーボード等であり、ユーザがこれらを操作することで、ブラウザにユーザ操作を入力することができる。上記に限定されることはなく、操作部７０４は例えば、タッチパネル、マイク及びユーザの意図を検出することができる任意のデバイスであってもよい。

以下では、撮像システム１０内で実行される処理の流れについて説明する。各処理のうち撮像装置１１０ａが実行する処理は、演算処理部２０３内のＣＰＵがメモリ等に記憶されたプログラムを実行することによって実現される。ただし、これは一例に過ぎず、後述の処理の一部又は全部が、専用のハードウェアによって実現されてもよい。また、補助処理装置１００ａと情報処理装置１３０がそれぞれ実行する処理は、各装置のＣＰＵがメモリ等に記憶されたプログラムを実行することによって実現されてもよい。あるいは、上記の処理の一部又は全部が、専用のハードウェアによって実現されてもよい。

図８は、撮像システム１０で実行される画像解析処理のフローチャートを示す。図８において、ユーザが撮像装置１１０ａに補助処理装置１００ａを装着する（Ｓ８０１）。次に、撮像装置１１０ａは、補助処理装置１００ａの初期化シーケンスを実行する（Ｓ８０２）。初期化シーケンスは、撮像装置１１０ａから補助処理装置１００ａへ所定のコマンドが送信されることにより、補助処理装置１００ａを使用可能な状態とすることである。その後、撮像装置１１０ａは、補助処理装置１００ａが実行可能な処理を判定する。処理の判定は、撮像装置１１０ａのみ又は撮像装置１１０ａと補助処理装置１００ａの組み合わせで行われてよい（Ｓ８０３）。なお、補助処理装置１００ａは、任意の処理を実行できるように構成されるが、任意の処理は撮像装置１１０ａで実行されるべき処理と無関係な処理を含まなくてよい。

例えば、撮像装置１１０ａは、情報処理装置１３０から事前に取得した補助処理装置１００ａの実行可能な処理のリストを保持しておいてもよい。この場合、撮像装置１１０ａは、補助処理装置１００ａの実行可能な処理のリストに基づいて、補助処理装置１００ａの実行可能な処理を判定することができる。撮像装置１１０ａは、補助処理装置１００ａに実行させる処理を決定し、必要に応じて、決定した処理を補助処理装置１００ａに設定する（Ｓ８０４）。すなわち、実行可能な処理のうち少なくとも一部の処理が、補助処理装置１００ａによって実行されることが決定した場合、補助処理装置１００ａにおいて、その一部の処理を行うための設定が実行される。

この設定は、例えば、実行対象となった一部の処理に対応する設定データで、回路４０２の再構成を行うことを含む。回路４０２の再構成が完了した後、撮像装置１１０ａ又は補助処理装置１００ａが、所定の解析処理を実行する（Ｓ８０５）。次に、撮像装置１１０ａは、解析結果に対する後処理を実行する（Ｓ８０６）。なお、Ｓ８０５とＳ８０６の処理は、所定の回数を繰り返すことにより実行される。図８の一連の処理は、補助処理装置１００ａが撮像装置１１０ａに装着された場合に実行される。例えば、補助処理装置１００ａが、撮像装置１１０ａから取り外された場合に、Ｓ８０３の処理が再度実行されてもよく、図８の処理の少なくとも一部が繰り返し実行されてもよい。

図９は、撮像装置１１０ａが実行可能な処理を判定する処理のフローチャートを示す。本処理は、図８のＳ８０３の処理に対応し、補助処理装置１００ａ等が撮像装置１１０ａに装着又は抜去された場合及び撮像装置１１０ａの電源がオンとなった場合に実行される。本処理において、撮像装置１１０ａは、補助処理装置１００ａが実行可能な処理を読み出し、その処理と撮像装置１１０ａが実行可能な解析処理を統合し、撮像装置１１０ａで実行可能な解析処理を判定する。以下、本処理の概要を説明する。

まず、撮像装置１１０ａの制御部３０４は、記憶部３０３に記憶された実行可能な処理のリストである第１処理リストを読み出す（Ｓ９０１）。次に、制御部３０４は、装着されたデバイスが、例えば従来の記憶機能のみを有するデバイスであるか、補助処理装置１００ａ等の特定の処理機能を有する所定のデバイスであるか否かを判定する（Ｓ９０２）。例えば、制御部３０４は、通信部３０６を制御して、装着されたデバイスに対して、特定のアドレスへの読み出しが可能な要求（リードコマンド）を発行する。通信部３０６は、装着されたデバイスの特定のアドレスに格納されているフラグデータを読み出す。以下では、この特定のアドレスを「アドレスＡ」と呼ぶ。アドレスＡに格納されているデータの詳細については後述する。そして、制御部３０４は、読み出したフラグデータに基づいて、装着されたデバイスが特定の処理機能を有する補助処理装置１００ａであるか否かを判定する。ただし、これは一例に過ぎず、他の方法によって、装着されたデバイスが補助処理装置１００ａであるか否かが判定されてもよい。

装着されたデバイスが、補助処理装置１００ａである場合（Ｓ９０２でＹＥＳ）、制御部３０４は、補助処理装置１００ａにおいて実行可能な処理を判定するための処理を実行し、処理はＳ９０３に進む。制御部３０４は、通信部３０６を制御して補助処理装置１００ａと通信し、補助処理装置１００ａにおいて実行可能な処理のリストである第２処理リストを取得する（Ｓ９０３）。制御部３０４は、例えば、装着されたデバイスが補助処理装置１００ａであるか否かを判定した場合と同様に、アドレスＡに格納されているデータを読み出すことにより、第２処理リストを取得する。

なお、第２処理リストは、補助処理装置１００ａであるか否かの判定を行うためのフラグデータと同一のアドレスＡに格納される。この場合、撮像装置１１０ａは、アドレスＡにアクセスすることにより、フラグデータと第２処理リストを同時に取得し、Ｓ９０２の処理とＳ９０３の処理とを同時に実行する。フラグデータと第２処理リストは、アドレスＡとは異なる別のアドレスに格納されてもよい。その後、制御部３０４は、記憶部３０３から読み出した撮像装置１１０ａが実行可能な処理の第１処理リストと、補助処理装置１００ａから取得した第２処理リストが統合された統合処理リストを作成し（Ｓ９０４）、処理を終了する。

統合処理リストは、ネットワーク１２０上のサーバ等の装置による処理が行われることなく、撮像装置１１０ａがローカルで実行可能な処理を示すリストである。なお、本実施形態では、統合処理リストは、第１処理リストの処理と第２処理リストの処理の和集合によって得られるリストである。また、統合処理リストは、第１処理リストと第２処理リストの少なくともいずれかに含まれる処理がリスト化されたものである。これに限られず、例えば、第１処理リストの処理と第２処理リストの処理を組み合わせることによって別の処理が実行可能となる場合、その実行可能となる別の処理が、統合処理リストに加えられてもよい。

すなわち、第１処理リストの処理の少なくとも一部と第２処理リストの処理の少なくとも一部が、一緒に実行されることにより、新たな解析処理が実行可能となる場合、その解析処理の情報が統合処理リストに追加されてよい。例えば、顔認証処理は、顔検出処理機能、顔特徴抽出処理機能及び顔特徴照合処理機能によって実現される。このとき、第１処理リストに顔検出処理機能と顔特徴抽出処理機能が含まれ、かつ、第２処理リストに顔特徴照合処理機能が含まれる場合、統合処理リストに顔認証処理が含められてよい。

Ｓ９０２に戻って、装着されたデバイスが補助処理装置１００ａでない場合（Ｓ９０２でＮＯ）、制御部３０４は、装着されたデバイスによる実行可能な処理がないと判定する。このため、制御部３０４は、記憶部３０３から読み出した撮像装置１１０ａにおいて実行可能な処理である第１処理リストを、統合処理リストとして判定し（Ｓ９０５）、処理を終了する。なお、装着デバイスが撮像装置１１０ａから抜去されて図９の処理が実行される場合、所定のデバイスは存在しないため、第１処理リストが統合処理リストであると判定される。

これにより、特定の処理を実行可能な補助処理装置１００ａが、撮像装置１１０ａに装着されているか否かに基づいて、撮像装置１１０でローカルに実行可能な処理をリスト化することができる。また、情報処理装置１３０の表示部７０３が統合処理リストをユーザに提示することにより、ユーザは、撮像装置１１０ａでローカルに実行可能となる処理を選択することができる。なお、本実施形態では、統合処理リストを生成する場合を示したが、第１処理リストと第２処理リストが別個に管理され、統合処理リストが生成されなくてもよい。すなわち、補助処理装置１００ａで実行可能な処理と、撮像装置１１０ａで実行可能な処理が区別できるように管理されることで、統合処理リストの生成を省略することができる。

一方で、第１処理リストと第２処理リストが別個に管理される場合であっても、統合処理リストが生成されてもよい。例えば、第１処理リストの処理と第２処理リストの処理が一緒に使用されることにより、新たな処理が実行可能となる場合、新たな処理は、第１処理リストと第２処理リストの処理には含まれないが、統合処理リストに含まれ得る。なお、統合処理リストが出力される場合、その統合処理リストに含まれる処理が、第１処理リストと第２処理リストとのいずれに含まれる処理であるか否かを区別するための情報が出力される。これにより、ユーザは、表示部７０３に提示された処理を補助処理装置１００ａなしで実行可能であるか否かを認識することができる。

なお、統合処理リストは、情報処理装置１３０の表示部７０３に提示されるが、これに限定されることはない。例えば、撮像装置１１０ａがディスプレイを有する場合、そのディスプレイに統合処理リストが表示されてもよい。撮像装置１１０ａが音声出力機能を有する場合、その機能を介して統合処理リストが出力されてもよい。撮像装置１１０ａがユーザに統合処理リストを提示することにより、ユーザは、意図しない機能を有する補助処理装置１００ａが撮像装置１１０ａに誤って装着された場合を迅速に認識できる。このように、撮像装置１１０ａは、撮像装置１１０ａが実行可能な処理を示す第１処理リストと補助処理装置１００ａが実行可能な処理を示す第２処理リストに基づく情報を、任意の形式で出力できる。

また、撮像装置１１０ａは、補助処理装置１００ａが抜去された場合、図９の処理を再度実行することで統合処理リストを更新することができる。このとき、撮像装置１１０ａは、抜去された補助処理装置１００ａに関する第２処理リストを破棄する。これに限られず、撮像装置１１０ａは、補助処理装置１００ａに関する第２処理リストを記憶部３０３に記憶しておくことで、その補助処理装置１００ａが装着されていない場合であっても、第２処理リストを出力できる。すなわち、撮像装置１１０ａは、過去に撮像装置１１０ａに装着され、かつ抜去された補助処理装置１００ａについての第２処理リストを出力してもよい。また、撮像装置１１０ａは、上記の第２処理リストの処理と、第１処理リストの処理を組み合わせることで実行可能となる処理を出力してもよい。すなわち、撮像装置１１０ａは、撮像装置１１０ａのみで実行不可な処理の情報を出力できる。このとき、ユーザに、撮像装置１１０ａのみで実行不可な処理に対応することができる補助処理装置１００ａが存在することを通知してもよい。

さらに、撮像装置１１０ａは、過去に撮像装置１１０ａに装着されておらず、かつ、撮像装置１１０ａに装着可能な補助処理装置１００ａについての第２処理リストを出力してもよい。このような補助処理装置１００ａと、それが実行可能な解析処理を示す情報は、例えば、撮像装置１１０ａにより外部サーバ（不図示）からネットワークを介して取得されてよい。また、実行可能な解析処理を示す情報は、例えば、撮像装置１１０ａの記憶部３０３に事前に保持していてもよい。また、撮像装置１１０ａは、未装着である補助処理装置１００ａについての第２処理リストの処理と、第１処理リストの処理を組み合わせることで、実行可能となる処理を出力してもよい。すなわち、撮像装置１１０ａは、それのみで実行できない処理の情報を出力できる。このとき、ユーザに、撮像装置１１０ａのみで実行不可な処理に対応することができる補助処理装置１００ａが存在することを通知してもよい。

なお、撮像装置１１０ａは、それに対して未装着である補助処理装置１００ａについての第２処理リストを記憶する際、その補助処理装置１００ａの機種番号等のデバイスを特定可能な情報を一緒に記憶することができる。撮像装置１１０ａは、第２処理リストを出力する際に、補助処理装置１００ａを特定可能な情報も一緒に出力することができる。これにより、ユーザが、表示部７０３に提示された処理機能を使用するために、どの補助処理装置１００ａを撮像装置１１０ａに装着すればよいかを容易に認識することができる。

図１０は、撮像装置１１０ａが解析処理内容を決定する処理のフローチャートを示す。本処理において、情報処理装置１３０は、撮像装置１１０ａでローカルに実行可能な解析処理をユーザに提示し、情報処理装置１３０はユーザの選択を受け付け、受け付けた情報を撮像装置１１０ａに送信する。撮像装置１１０ａは、情報処理装置１３０から受信したユーザ選択の情報に応じて、実行対象の解析処理を決定する。以下、本処理の概要を説明する。

図１０で、情報処理装置１３０の制御部７０２が、通信部７０１を介して、撮像装置１１０ａに撮影画像、統合処理リスト及び後処理リストを要求する（Ｓ１００１）。このとき、情報処理装置１３０は、例えばＯＮＶＩＦ規格に準拠した要求メッセージを撮像装置１１０ａへ送信することによって、撮像装置１１０ａからの情報を要求する。これに限られず、他の要求メッセージ等によって情報の送信要求が行われてもよい。撮像装置１１０ａは、この要求に基づいて、撮像制御部３０１を介して周囲の環境を撮影し、制御部３０４が信号処理部３０２を制御して、撮影された画像を処理することで撮影画像を取得する（Ｓ１００２）。なお、撮像装置１１０ａは、情報処理装置１３０からの要求の有無によることなく、周囲の環境を撮影して、撮影画像を取得してもよい。

撮像装置１１０ａは、撮影画像を記憶部３０３のようなローカルに保存してもよく、又は、撮影画像をネットワークサーバ等の外部装置に保存してもよい。次に、制御部３０４は、記憶部３０３に記憶されている後処理リストを読み出す。後処理リストは、本実施形態では表示処理及び保存処理であるが、これに限られない。制御部３０４は、後処理リストと、図９の処理で取得した統合処理リストと、Ｓ１００２で取得した撮影画像を情報処理装置１３０へ送信する（Ｓ１００３）。撮像装置１１０ａは、ＯＮＶＩＦ規格に準拠した要求メッセージに対応する応答メッセージを、情報処理装置１３０へ送信する。これにより、情報処理装置１３０は情報を受信することができる。

制御部７０２は、撮像装置１１０ａから撮影画像、統合処理リスト、後処理リストを受信する。制御部７０２は、表示部７０３の画面等に統合処理リストと後処理リストをユーザに提示する（Ｓ１００４）。このとき、制御部７０２は、上記のリストと一緒に撮影画像を画面表示してもよい。ユーザは、表示部７０３に表示された統合処理リストと後処理リストを確認する。ユーザは、操作部７０４を介して任意の解析処理を統合処理リストの中から選択する（Ｓ１００５）。また、ユーザは、操作部７０４を介して、解析処理結果に対する任意の後処理を選択する（Ｓ１００６）。操作部７０４は、ユーザによる解析処理と後処理の選択結果を、制御部７０２に送信する。制御部７０２は、操作部７０４から受信した解析処理と後処理をそれぞれ示す情報を撮像装置１１０ａへ送信する（Ｓ１００７）。

撮像装置１１０ａの制御部３０４は、情報処理装置１３０からユーザによって選択された解析処理を示す情報を受信すると、その解析処理が第２処理リストに含まれているか否かを判定する（Ｓ１００８）。次に、制御部３０４は、ユーザ選択の解析処理が第２処理リストに含まれていないと判定する場合（Ｓ１００８でＮＯ）、撮像装置１１０ａでその解析処理を実行する。これにより、制御部３０４は、補助処理装置１００ａへ通知することなしに、処理を終了する。一方、制御部３０４は、ユーザ選択の解析処理が第２処理リストに含まれると判定する場合（Ｓ１００８でＹＥＳ）、処理はＳ１００９に進む。制御部３０４は、ユーザ選択の解析処理に関する設定要求を補助処理装置１００ａに送信する（Ｓ１００９）。

補助処理装置１００ａの通信部５０２は、ユーザ選択の解析処理の設定要求を撮像装置１１０ａから受信する。このとき、通信部５０２は、撮像装置１１０ａによる書き込みデータ量と書き込みコマンドの種別に基づいて、ユーザ選択の解析処理の設定要求を判定する。設定要求の判定方法の詳細は後述する。通信部５０２は、撮像装置１１０ａから受信したユーザ選択の解析処理の設定要求を、解析部５０１に送信する。解析部５０１は、通信部５０２から受信したユーザ選択の解析処理の設定要求に基づいて、補助処理装置１００ａが処理を実行可能な状態となるような設定を実行する（Ｓ１０１０）。通信部５０２は、処理の設定が完了した後に、設定完了通知を撮像装置１１０ａへ送信する（Ｓ１０１１）。なお、通信部５０２は、補助処理装置１００ａの処理設定が完了していないときに、撮像装置１１０ａがデータを補助処理装置１００ａに書き込まないようにするための情報を通知する。通信部５０２は、処理設定が完了する前に、設定完了予定の情報等を撮像装置１１０ａに通知してもよい。撮像装置１１０ａの制御部３０４は、通信部３０６を制御して、補助処理装置１００ａから処理設定の完了通知を受信する。

補助処理装置１００ａから撮像装置１１０ａへの処理設定の完了通知は、例えば、以下の３つ方法のうちのいずれかを用いて実行され得る。第１の通知方法は、通信部５０２が、撮像装置１１０ａによる１ブロック目のデータの書き込み処理中であり、ユーザ選択の解析処理の設定が完了していない場合、ＢＵＳＹ信号を出力する。ＢＵＳＹ信号の出力は、例えば、ＳＤ規格に準拠したＤＡＴＡの信号ラインをＬｏｗ状態にドライブしておくことにより行われる。この場合、撮像装置１１０ａは、ＢＵＳＹ信号を確認することにより、ユーザ選択の解析処理の設定が完了したか否かを判定することができる。

第２の通知方法は、ユーザ選択の解析処理の設定が完了するまでの時間を上述の特定アドレスに事前に格納し、撮像装置１１０ａがその設定完了までの時間を読み出す。撮像装置１１０ａは、ユーザ選択の解析処理の設定完了までの時間が経過した後に、書き込みデータの出力としてライトコマンドを発行する。これにより、撮像装置１１０ａは、ユーザ選択の解析処理の設定が完了した後に、撮影画像のデータを補助処理装置１００ａに送信できる。第３の通知方法は、解析部５０１が、ユーザ選択の解析処理の設定が完了した際に、補助処理装置１００ａの第２の特定アドレスに設定完了のフラグを書き込む。撮像装置１１０ａは、この第２の特定アドレスのデータを読み出すことにより、ユーザ選択の解析処理の設定が完了したか否かを判定できる。なお、設定完了のフラグが書き込まれる第２の特定アドレスの情報は、上述の特定のアドレスに格納されてもよいし、別のアドレスに格納されてもよい。

図１０の処理は、統合処理リストを用いることにより、撮像装置１１０ａの状態を考慮しつつ、ユーザ選択の解析処理を適切に決定することができる。また、ユーザ選択の解析処理が補助処理装置１００ａで実行される処理を含む場合に補助処理装置１００ａの設定を自動で行うことにより、ユーザによる設定操作を必要としない。さらに、補助処理装置１００ａはユーザ選択の解析処理を実行するための準備を自動で行う。ユーザ選択の解析処理が、補助処理装置１００ａで実行される処理を含まない場合、補助処理装置１００ａの設定を変えることなしに、撮像装置１１０ａで処理を実行することができる。

図１１は、撮像装置１１０ａが解析処理を実行する際の処理のフローチャートを示す。図１１で撮像制御部３０１が周囲の環境を撮影する（Ｓ１１０１）。制御部３０４は、信号処理部３０２を制御して、撮像制御部３０１によって撮影された画像の処理を行い、撮影画像を取得する。その後、制御部３０４は、解析部３０５を制御して、制御部３０４から入力された撮影画像に対して解析前の処理を実行し、解析前の処理結果である画像を取得する（Ｓ１１０２）。制御部３０４は、ユーザ選択の解析処理が第２処理リストに含まれるか否かを判定する（Ｓ１１０３）。制御部３０４は、ユーザ選択の解析処理が第２処理リストに含まれないと判定した場合（Ｓ１１０３でＮＯ）、撮像装置１１０ａ内で解析前の処理結果である画像に対する解析処理を実行する（Ｓ１１０４）。制御部３０４は、解析部３０５を制御して、解析処理結果に対する解析後の処理を実行し（Ｓ１１０８）、処理を終了する。

制御部３０４は、ユーザ選択の解析処理が第２処理リストに含まれていると判定した場合（Ｓ１１０３でＹＥＳ）、解析前の処理結果である画像を補助処理装置１００ａに送信する（Ｓ１１０５）。例えば、制御部３０４は、解析前の処理結果の書き込み要求（ライトコマンド）を発行し、補助処理装置１００ａへ解析前の処理結果である画像を送信する。補助処理装置１００ａの通信部５０２は、解析前の処理結果である画像を撮像装置１１０ａから受信し、その画像を解析部５０１に送信する。解析部５０１は、通信部５０２から受信した画像に対して、Ｓ１０１０で設定された解析処理を実行する（Ｓ１１０６）。通信部５０２は、解析部５０１による画像の解析処理結果を撮像装置１１０ａへ送信する（Ｓ１１０７）。制御部３０４は、通信部３０６を制御して、補助処理装置１００ａから画像の解析処理結果を受信する。制御部３０４は、解析部３０５を制御して、解析処理結果に対して解析後の処理を実行する（Ｓ１１０８）。

補助処理装置１００ａから撮像装置１１０ａへの解析処理結果の送信は、以下の通りで行われる。解析部５０１は、解析処理結果をユーザ選択の解析処理ごとに割り当てられた解析処理結果の格納先アドレスに格納する。撮像装置１１０ａは、例えば第２処理リストと共にアドレスＡに格納された解析処理結果の格納アドレスを読み出し、その格納アドレスに対する読み出し要求（リードコマンド）を補助処理装置１００ａに送信する。補助処理装置１００ａは、通信部５０２を介して、解析処理結果の格納アドレスへの読み出し要求を受け取り、解析処理結果を撮像装置１１０ａに送信する。なお、撮像装置１１０ａは、例えばアドレスＡに格納された推定処理時間の経過後に、解析処理結果の格納アドレスに対する読み出し要求を発行する。

補助処理装置１００ａは、解析前の処理結果における最後の１ブロックの書き込み要求からユーザ選択の解析処理が終了するまでの間、ＢＵＳＹ信号を出力してもよい。このとき、撮像装置１１０ａは、補助処理装置１００ａのＢＵＳＹ信号を受信しなくなった場合、解析処理結果の格納アドレスに対する読み出し要求を発行しうる。これにより、撮像装置１１０ａは、補助処理装置１００ａによるユーザ選択の解析処理が終了した後に、処理結果を取得することが可能となる。本処理によれば、撮像装置１１０は、ユーザ選択の解析処理に応じて、撮影画像を補助処理装置１００ａに転送するか否かを決定することができる。これにより、ユーザは、解析処理を撮像装置１１０ａと補助処理装置１００ａのいずれが実行するかを意識することなしに、撮影画像の解析処理を実行することが可能となる。

図１２は、撮像装置１１０ａが後処理を実行する際のフローチャートを示す。図１２で撮像装置１１０ａの制御部３０４が、実行対象の後処理に「表示」が含まれるか否かを判定する（Ｓ１２０１）。制御部３０４は、実行対象の後処理に表示が含まれると判定した場合（Ｓ１２０１でＹＥＳ）、処理はＳ１２０２に進む。制御部３０４は、通信部３０６を制御して、解析処理の結果を情報処理装置１３０へ送信する（Ｓ１２０２）。情報処理装置１３０の制御部７０２は、撮像装置１１０ａから解析処理の結果を受信すると、解析処理の結果を表示部７０３でユーザに提示する（Ｓ１２０３）。一方、制御部３０４が実行対象の後処理に表示が含まれないと判定した場合（Ｓ１２０１でＮＯ）、Ｓ１２０２及びＳ１２０３の処理は実行することなしに、処理はＳ１２０４に進む。

制御部３０４は、実行対象の後処理に「保存」が含まれるか否かの判定する（Ｓ１２０４）。なお、Ｓ１２０４の判定は、Ｓ１２０１の前に実行されてもよいし、Ｓ１２０１と並行して実行されてもよい。制御部３０４は、実行対象の後処理に保存が含まれると判定した場合（Ｓ１２０４でＹＥＳ）、処理はＳ１２０５に進む。制御部３０４は、解析処理の結果を記憶部３０３に記憶し、処理を終了する（Ｓ１２０５）。一方、制御部３０４は、実行対象の後処理に保存が含まれないと判定した場合（Ｓ１２０４でＮＯ）、Ｓ１２０５の処理を実行せずに処理を終了する。このように、撮像装置１１０ａは、選択された後処理に応じて、解析処理の結果を情報処理装置１３０へ送信することと、その結果を記憶部３０３へ格納することを、ユーザによる追加の設定操作なしに実行できる。本処理によれば、ユーザの後処理に関する利便性を向上させることができる。

以下、撮像装置１１０ａと補助処理装置１００ａの間の通信について説明する。演算処理部２０３とコントローラ４０３は、Ｉ／Ｆ部２０５のデバイス挿入用ソケットを介し、電源ライン、ＧＮＤライン、クロックライン、コマンドライン、データラインで接続される。なお、クロックライン、コマンドライン及びデータラインは、回路４０２を経由するように接続される。クロックラインは、演算処理部２０３から出力される同期用のクロックを送信する。コマンドラインは、演算処理部２０３からコントローラ４０３への動作要求コマンドと、コントローラ４０３から演算処理部２０３へのレスポンスを送受信する。データラインは、演算処理部２０３からの書き込みデータ、補助処理装置１００ａからの読み出しデータを送受信する。

また、演算処理部２０３は、Ｉ／Ｆ部２０５のデバイス挿入用ソケットのデバイスディテクト信号がＨｉｇｈ又はＬｏｗであるかを判定する。これにより、演算処理部２０３は、補助処理装置１００ａが挿入されているか否かを認識することができる。演算処理部２０３は、コントローラ４０３に対して電源供給した後、コマンドラインを介してコントローラ４０３に動作要求コマンドを発行する。そして、演算処理部２０３は、コントローラ４０３からのレスポンスと、ＳＤカードとしてのデバイス情報を示す出力データの受信に応じて、データ通信用の電圧及び通信速度（クロック周波数）等の設定を行う。

図１３は、コマンドラインで通信されるコマンドとレスポンスの構成例を示す。コマンドとレスポンスは、ＳＤ規格に準拠した構成を有する。図１３（Ａ）のコマンド１３０１は、演算処理部２０３からコントローラ４０３に対して要求するコマンドである。コマンド１３０１は、スタートビット１３０２、ディレクションビット１３０３、コマンドナンバー部１３０４を含む。コマンド１３０１は、コマンド引数部１３０５、誤り訂正用データ部１３０６及びエンドビット１３０７をさらに含む。スタートビット１３０２は、コマンドの開始位置を示すために、コマンド１３０１の最初のビットとして配置される。ディレクションビット１３０３は、撮像装置１１０ａから補助処理装置１００ａに対して送信された信号である。

コマンドナンバー部１３０４は、コマンドの種別を示す値が記述される。例えば、コマンドナンバー部１３０４に値「２３」が格納されている場合、コマンド１３０１は、データブロック数を指定するブロック数指定コマンドである。また、コマンドナンバー部１３０４に値「２５」が格納されている場合、コマンド１３０１は、マルチライトコマンドである。コマンドナンバー部１３０４に値「１２」が格納されている場合、コマンド１３０１はデータ転送停止コマンドである。コマンド引数部１３０５は、コマンドの種別に応じて転送データブロック数、メモリの書き込み・読み出しアドレス等の情報を有する。エンドビット１３０７は、コマンドの終了位置を示すために、コマンド１３０１の最後のビットとして配置される。

図１３（Ｂ）のレスポンス１３１１は、コマンド１３０１に応じて、コントローラ４０３から演算処理部２０３に送信されるコマンドである。レスポンス１３１１は、スタートビット１３１２、ディレクションビット１３１３、レスポンスナンバー部１３１４を含む。レスポンス１３１１は、レスポンス引数部１３１５、誤り訂正用データ部１３１６、エンドビット１３１７をさらに含む。スタートビット１３１２は、レスポンス１３１１の最初のビットとして、レスポンスの開始位置を示す。ディレクションビット１３１３は、補助処理装置１００ａから撮像装置１１０ａに対して出力された信号を示す。レスポンスナンバー部１３１４は、どのコマンドに対するレスポンスであるかを示す。レスポンス引数部１３１５は、コマンド種別に応じてＳＤカードのステータス等の情報を有する。エンドビット１３１７は、レスポンス１３１１の最後のビットとして、レスポンスの終了位置を示す。

以下、演算処理部２０３と補助処理装置１００ａの間のデータの送受信の方法を説明する。Ｉ／Ｆ部２０５は、データの書き込み・読み出しについて、ブロック単位でデータの転送を行う。演算処理部２０３が、補助処理装置１００ａに複数ブロックのデータを転送する方法は以下の通りである。第１の転送方法は、転送データのブロック数指定コマンドによってブロック数が指定された後に、マルチライトコマンドにより指定されたブロック数に対応するデータが転送される。ブロック数指定コマンドは、コマンド引数部１３０５において書き込みデータのブロック数を指定する。マルチライトコマンドは、コマンド引数部１３０５においてデータが書き込まれる記憶部４０４のアドレスを指定する。第２の転送方法は、ブロック数指定コマンドが発行されず、かつ、マルチライトコマンドが発行されることにより、データ転送が開始される。データ転送が終了した時に転送停止コマンドが発行されることによって、処理が終了する。このとき、マルチライトコマンドのコマンド引数部１３０５において、データが書き込まれる記憶部４０４のアドレスのみが指定される。演算処理部２０３は、上記のデータ転送方法を任意に切り替えることができる。

なお、解析処理で例えば記憶処理が行われる場合、回路４０２は、演算処理部２０３から送信されるコマンドとデータをコントローラ４０３に入力する。コントローラ４０３は、受信したデータをコマンドにより指定された記憶部４０４のアドレスに格納する。解析処理で例えば画像解析処理が行われる場合、回路４０２は、演算処理部２０３から送信されるデータに対して解析処理を実行する。回路４０２は、その処理結果のデータと、記憶部４０４の所定のアドレスを指定する情報を、コントローラ４０３に送信する。コントローラ４０３は、記憶部４０４内の指定されたアドレスに処理結果を格納する。

演算処理部２０３は、補助処理装置１００ａから複数ブロックのデータを読み出す。このとき、データの読み出しは、以下の２つの方法で行われる。第１の読み出し方法では、ブロック数の指定コマンドでブロック数が指定されると、マルチリードコマンドが発行される。本方法は、指定コマンドに基づいて、指定されたブロック数のみのデータを読み出す。ブロック数指定コマンドでは、コマンド引数部１３０５において読み出しデータのブロック数が指定される。マルチリードコマンドのコマンド引数部１３０５において、データの読み出し元のメモリのアドレスが指定される。第２の読み出し方法では、ブロック数指定コマンドが発行されず、かつ、マルチリードコマンドが発行されることにより、データの読み出しが開始される。本方法では、転送停止コマンドが発行されることによって処理が終了する。演算処理部２０３は、２つの読み出し方法を任意に切り替えることが可能である。

なお、書き込みデータと読み出しデータが１ブロックである場合、シングルライトコマンドとシングルリードコマンドが発行される。これにより、ブロック数指定コマンドと転送停止コマンドが発行されることなく、データの書き込み及び読み出しが実行される。シングルライトコマンドとシングルリードコマンドでは、コマンド引数部１３０５において、アクセス対象の記憶部４０４のアドレスが指定される。演算処理部２０３は、補助処理装置１００ａに対して書き込みを行うことにより、記憶処理又は画像解析処理の対象となるデータを補助処理装置１００ａへ送信することができる。また、演算処理部２０３は、補助処理装置１００ａに対して読み出しを行うことにより、記憶部４０４に記憶された画像データ、画像解析処理の処理結果、補助処理装置１００ａの処理機能の情報を取得することができる。

補助処理装置１００ａは、記憶部４０４の特定のアドレスＡに、補助処理装置１００ａが有する処理機能の情報を格納する。撮像装置１１０ａの演算処理部２０３は、このアドレスＡに対してマルチリードコマンド又はシングルリードコマンドを発行することにより、補助処理装置１００ａの処理機能の情報を判定できる。処理機能の情報は、処理機能を保有しているか否か、処理が実行されてから完了するまでの所要時間、処理結果のデータサイズ、処理結果が格納されるアドレス情報を含む。

図１４は、処理機能の情報の一例を示す。処理機能保有フラグ１４０１は、補助処理装置１００ａが画像解析処理機能を有することを示す。撮像装置１１０ａは、処理機能保有フラグ１４０１を確認することにより、補助処理装置１００ａが画像解析処理機能を有しているか否かを判定する。処理分類１４０２は、補助処理装置１００ａが有する解析処理を示す。入力データサイズ１４０３及び入力データ数１４０４は、各処理機能のデータの入力仕様に関する情報を示す。また、推定処理時間１４０５は、データ入力から処理結果出力までに要する時間を示す。処理結果データ数１４０６は、処理結果のデータ数を示す。解析結果格納アドレス１４０７は、記憶部４０４のどこに処理結果が格納されるかを示す。演算処理部２０３は、図１４に示す記憶部４０４のアドレスＡのデータを読み出すことにより、図１５の処理機能テーブルを取得することができる。図１５の参照符号は、図１４の参照符号と対応する。

また、補助処理装置１００ａは、演算処理部２０３からアドレスＡに対するリードコマンドが発行されていない場合、補助処理装置１００ａを装着する機器が画像解析処理機能を使用しない機器であると判定する。この場合、補助処理装置１００ａは、転送されるデータを記憶部４０４に記憶のみ行う。これにより、補助処理装置１００ａは、画像解析処理機能を必要としない機器に対して、メモリデバイスとしてのみ機能する。ここでは、記憶部４０４の特定のアドレスＡに処理機能の情報を格納する方法を示したが、これに限定されない。例えば、補助処理装置１００ａの初期設定時に使用するコマンドに対するレスポンスのレスポンス引数部１３１５に、処理機能の情報が追加されてもよい。

なお、撮像装置１１０ａは、例えば、補助処理装置１００ａの初期化設定の終了後に、記憶部４０４のアドレスＡの読み出しを実行する。撮像装置１１０ａは、Ｉ／Ｆ部２０５のソケットで補助処理装置１００ａが検出されなくなった場合、これまで読み込んだ情報を破棄する。撮像装置１１０ａは、情報の破棄後に、補助処理装置１００ａがソケットに挿入された場合、補助処理装置１００ａの初期化設定終了後に、アドレスＡの値を読み出す。これにより、撮像装置１１０ａは、異なる補助処理装置ａが挿入された場合に、その補助処理装置ａの処理機能の情報を読み出すことができ、それに対して処理を設定することができる。

補助処理装置１００ａが、記憶処理と画像解析処理を自動で切り替える処理について説明する。本処理は、補助処理装置１００ａが、撮像装置１１０ａから受信した画像データをそのまま記憶するか、又は、その画像データに画像解析処理を行うかを判定する処理である。撮像装置１１０ａは、例えば特殊なコマンドを補助処理装置１００ａに送信することにより、補助処理装置１００ａに送信画像データを記憶させるか、又は、その画像データの画像解析処理を実行させるかを制御できる。しかし、このような特殊なコマンドを規定することは、補助処理装置１００ａが準拠する規格を考慮しなければならず、容易ではない。本実施形態では、以下のような方法により、特殊なコマンドを定義することなく、補助処理装置１００ａにおいて実行される処理を切り替える。なお、以下の処理例では、ＳＤ規格に準拠した方法で撮像装置１１０ａと補助処理装置１００ａの間の通信を行うが、これに限られない。すなわち、補助処理装置１００ａが準拠する規格に従うコマンド等で、以下に説明する処理が実施できる方法であればよい。

図１６は、補助処理装置１００ａへ転送されるデータブロック数によって、記憶処理と画像解析処理を自動で切り替える制御の流れを示す。図１６で撮像装置１１０ａの演算処理部２０３が、補助処理装置１００ａに対して、ＳＤ規格に準拠したライトコマンドを発行し、補助処理装置１００ａはデータを転送する（Ｓ１６０１）。補助処理装置１００ａの回路４０２は、演算処理部２０３により書き込まれるデータのブロック数が、画像解析処理が実行される際のデータ量と一致するか否かを判定する（Ｓ１６０２）。回路４０２は、ブロック数指定コマンドのコマンド引数部１３０５に記述されているデータブロック数を判定する。また、回路４０２は、ブロック数指定コマンドが発行されない場合、データ転送停止コマンドが発行されるまでに転送されるブロック数をカウントし、そのカウントに基づいてデータブロック数を判定してもよい。

回路４０２は、演算処理部２０３によりそれに書き込まれるデータブロック数が、画像解析処理が実行される際のデータ量と一致すると判定する場合（Ｓ１６０２でＹＥＳ）、処理はＳ１６０３に進む。回路４０２は、転送されたデータに対して画像解析処理を実行する（Ｓ１６０３）。回路４０２は、画像解析処理結果を取得し（Ｓ１６０４）、コントローラ４０３に対してライトコマンドを発行する。回路４０２は、解析処理の分類に対応する記憶部４０４内の解析結果格納アドレス１４０７に、取得した画像解析処理結果を格納する（Ｓ１６０５）。一方、回路４０２は、演算処理部２０３によりそれに書き込まれるデータブロック数が、画像解析処理が実行される際のデータ量と一致しないと判定する場合（Ｓ１６０２でＮＯ）、処理はＳ１６０６に進む。回路４０２は、転送データをそのまま記憶部４０４に記憶する（Ｓ１６０６）。例えば、回路４０２は、演算処理部２０３がコントローラ４０３に対して発行したライトコマンドと同様のコマンドを発行し、転送データをそのまま記憶部４０４に転送する。コントローラ４０３は、ライトコマンドで指定された記憶部４０４のアドレスに、転送データを格納する。

補助処理装置１００ａは、図１４に示す情報を記憶部４０４の特定のアドレスＡに保持し、例えば処理分類１４０２の解析処理Ａが実行される際の入力データ数１４０４は２０ブロックであると判定する。このため、回路４０２は、演算処理部２０３によりそれに書き込まれるデータブロック数が２０ブロックであると判定する場合、解析処理Ａを実行する。回路４０２は、書き込まれたデータブロック数が２０ブロック以外であると判定する場合、解析処理Ａを実行しない。なお、回路４０２は、例えば演算処理部２０３により書き込まれるデータブロック数が４０ブロックであると判定する場合、解析処理Ｃを実行する。このように、回路４０２が実行する解析処理は、それに入力されるデータブロック数に応じて変更されてよい。

図１７は、ライトコマンドのコマンド引数部１３０５で指定される書き込みアドレスに基づいて、記憶処理と画像解析処理を切り替える制御の流れの例を示している。本処理においても、撮像装置１１０ａの演算処理部２０３は、コントローラ４０３に対してライトコマンドを発行する（Ｓ１７０１）。回路４０２は、コマンド引数部１３０５で指定される書き込みアドレスが、図１４の解析結果格納アドレス１４０７と一致するか否かを判定する（Ｓ１７０２）。回路４０２は、コマンド引数部１３０５で指定された書き込みアドレスが解析結果格納アドレス１４０７と一致すると判定する場合（Ｓ１７０２でＹＥＳ）、処理はＳ１７０３に進む。回路４０２は、転送されたデータに対して、解析結果格納アドレス１４０７に対応する画像解析処理を実行する（Ｓ１７０３）。

回路４０２は、画像解析の処理結果を取得し（Ｓ１７０４）、コントローラ４０３に対してライトコマンドを発行する。回路４０２は、記憶部４０４の解析結果格納アドレス１４０７に取得した画像解析の処理結果を格納する（Ｓ１７０５）。一方、回路４０２は、コマンド引数部１３０５で指定される書き込みアドレスが解析結果格納アドレス１４０７と一致しないと判定する場合（Ｓ１７０２でＮＯ）、処理はＳ１７０６に進む。回路４０２は、転送データをそのまま記憶部４０４に記憶する（Ｓ１７０６）。例えば、回路４０２は、演算処理部２０３がコントローラ４０３に対して発行したライトコマンドと同様のコマンドを発行し、転送データを記憶部４０４にそのまま転送する。コントローラ４０３は、ライトコマンドで指定された記憶部４０４のアドレスに、転送データを格納する。

補助処理装置１００ａは、図１４の情報を記憶部４０４の特定のアドレスＡに保持し、例えば図１５の処理分類１４０２の解析処理Ａが実行される際の解析結果格納アドレス１４０７は、０ｘＦＦＦＦＦＦＦＦであると判定する。このため、回路４０２は、演算処理部２０３から取得したコマンドが指定する解析結果格納アドレス１４０７が０ｘＦＦＦＦＦＦＦＦの場合、解析処理Ａを実行する。回路４０２は、解析結果格納アドレス１４０７が０ｘＦＦＦＦＦＦＦＦ以外の場合、解析処理Ａを実行しない。なお、回路４０２は、例えば演算処理部２０３から取得したコマンドによって指定される解析結果格納アドレス１４０７が０ｘＥＥＥＥＥＥＥＥの場合、解析処理Ｃを実行する。このように、回路４０２は、実行する解析処理をコマンドで指定された解析結果格納アドレス１４０７に応じて変更してもよい。

このように、補助処理装置１００ａは、演算処理部２０３によりそれに書き込まれるデータブロック数及び解析結果格納アドレスに応じて、転送データの記憶又はそれの画像解析処理を判定する。あるいは、回路４０２は、データブロック数と解析結果格納アドレスの両方が、入力データ数１４０４と解析結果格納アドレス１４０７にそれぞれ一致すると判定する場合、画像解析処理を実行してもよい。また、回路４０２は、データブロック数と解析結果格納アドレスの少なくともいずれかが、入力データ数１４０４と解析結果格納アドレス１４０７に一致しないと判定する場合に、記憶処理を実行してもよい。

上述の処理によれば、特殊な制御コマンドを設けることなしに、補助処理装置１００ａは、画像解析処理を実行すべきデータに画像解析処理できる。また、補助処理装置１００ａは、格納すべきデータを画像解析処理することなしに、記憶部４０４に記憶させることができる。これにより、システムの複雑化を防ぐことができ、さらなる手順を設ける必要がない。本処理によれば、画像解析処理を迅速に開始することができる。なお、図１７の処理は、図１６の処理と組み合わせて実行されてもよい。すなわち、画像データのブロック数と解析結果格納アドレスが、画像解析処理と関連付けられることで、画像解析処理が実行されるようにしてもよい。

なお、画像解析処理を行う場合、処理結果と一緒に解析処理の対象となった転送データを、記憶部４０４の解析結果格納アドレス１４０７とは異なる領域に保存してもよい。また、上述の制御において、補助処理装置１００ａが複数の画像解析処理機能を有している場合、データの書き込みブロック数と解析結果格納アドレスに応じて、実行する画像解析処理の種別が決定されてもよい。例えば、データのブロック数と解析結果格納アドレスが、複数の画像解析処理機能のうち任意の画像解析処理の入力データ数１４０４と解析結果格納アドレス１４０７と一致する場合に、その画像解析処理が実行されてもよい。

図１８は、コマンドによる記憶処理と画像解析処理を切り替える制御の流れの例を示している。ＳＤ規格では、データの書き込み時のプロトコルとして、ブロック数指定コマンドを発行してからデータの書き込みを行う第１のプロトコルがある。また、第１のプロトコルにブロック数指定コマンドを発行せずにデータの書き込みを行う第２のプロトコルがある。なお、第２のプロトコルでは、データの書き込みを終了する際に、データ転送停止コマンドが発行される。本処理では、第１のプロトコルを介したデータ送信に基づいて、画像解析処理を実行する。第２のプロトコルでデータが送信される場合、画像解析処理を実行することなしに記憶部４０４に画像データを格納する記憶処理を実行する。また、補助処理装置１００ａの回路４０２は、画像データの送信のために、ブロック数指定コマンドが発行されたか否かに基づいて、画像解析処理を実行するか否かを決定する。

本処理では、まず、撮像装置１１０ａの演算処理部２０３が、補助処理装置１００ａに対してライトコマンドを発行し、データを転送する（Ｓ１８０１）。ここで、補助処理装置１００ａの回路４０２は、ブロック数指定コマンドが発行されたか否かを判定する（Ｓ１８０２）。回路４０２は、ブロック数指定コマンドが発行されている場合（Ｓ１８０２でＹＥＳ）、処理はＳ１８０３に進む。回路４０２は、転送されたデータに対して画像解析処理を実行し（Ｓ１８０３）、処理結果を取得する（Ｓ１８０４）。回路４０２は、図１４で示される解析処理の分類に応じた所定の解析結果格納アドレス１４０７を指定して、コントローラ４０３にライトコマンドを発行する。これにより、回路４０２は、処理結果のデータを記憶部４０４に格納する（Ｓ１８０５）。回路４０２は、ブロック数指定コマンドが発行されていない場合（Ｓ１８０２でＮＯ）、処理はＳ１８０６に進む。回路４０２は、コントローラ４０３に対して演算処理部２０３から発行されたコマンドと同様のライトコマンドを発行する。そして、回路４０２は、転送されたデータをそのままコントローラ４０３に送信する。そして、コントローラ４０３は、回路４０２からのライトコマンドで指定された記憶部４０４のアドレスにデータを格納する（Ｓ１８０６）。

なお、ブロック数指定コマンドは、他の所定のコマンドであってもよい。すなわち、画像解析処理を実行するトリガとなる所定のコマンドが事前に設定されてよい。回路４０２は、その所定のコマンドの受信に基づいて、入力される画像データに対して画像解析処理を実行する。また、使用されるプロトコルは、特定可能な他の情報が用いられてもよい。なお、回路４０２は、例えば、所定のコマンドを受信した場合に、図１６や図１７の処理を実行して、入力される画像データに対して画像解析処理を実行するか否かを決定してもよい。このように、ブロック数指定コマンド等のコマンドによって、画像解析処理のうちどの処理を行えばよいかが示される。これにより、撮像装置１１０ａが、ＳＤ規格に準拠したプロトコルの範囲で、補助処理装置１００ａが実行すべき処理を指示することができる。

上述の処理の少なくとも一部は、画像データの送信のためのＳＤ規格に準拠したコマンドが、回路４０２によって実行可能な画像解析処理に関連付けられた値を含んでいるか否かを判定する。これにより、上述の処理の一部は、その画像解析処理を実行するか否かを決定することができる。例えば、図１６の処理は、コマンドナンバー部１３０４に「２３」が格納され、かつ、コマンド引数部１３０５に所定のブロック数を示す値が格納されている場合、画像解析処理を実行する。また、図１７の処理は、コマンド引数部１３０５に処理結果格納アドレスを示す値が格納されている場合に、画像解析処理を実行する。図１８の処理は、コマンドナンバー部１３０４に「２３」が格納されている場合に、画像解析処理を実行する。このように、画像データが送信される際のコマンドの内容を、画像解析処理に関連付けられた所定の値に設定することができる。これにより、ＳＤ規格に準拠したコマンドを用いて、回路４０２に画像解析処理と記憶処理のいずれを実行させるかを柔軟に制御することができる。

撮像装置１１０ａが、補助処理装置１００ａに記憶された画像解析処理結果を読み出す方法について説明する。演算処理部２０３は、補助処理装置１００ａに対して、図１４で示される解析結果格納アドレス１４０７を指定する。演算処理部２０３は、解析処理ごとの処理結果データ数１４０６の分だけ読み出すようにリードコマンドを発行する。コントローラ４０３は、回路４０２を介してリードコマンドを受信する。コントローラ４０３は、指定された記憶部４０４のアドレスに格納されている処理結果のデータを撮像装置１１０ａの演算処理部２０３に対して出力する。これにより、撮像装置１１０ａは、画像解析処理結果を取得することができる。

撮影画像、統合処理リスト、後処理リストのユーザへの提示及びユーザ選択の受け付け方法の例について説明する。図１９は、表示部７０３を介した撮影画像と統合処理リスト及び後処理リストの画面表示の例を示している。この表示画面により、例えば、ユーザインタフェース１９０１が表示される。ユーザインタフェース１９０１は、撮影画像表示領域１９０２、統合処理リスト表示領域１９０３、後処理リスト表示領域１９０４を含む。撮影画像表示領域１９０２は、撮像装置１１０ａによる撮影画像を表示し、図１９で例えば３人の人間を表示する。統合処理リスト表示領域１９０３は、解析処理内容を表示し、例えば、顔検出、人体検出、車両検出の処理を表示する。後処理リスト表示領域１９０４は、後処理内容として、例えば表示と保存を表示する。ユーザは、これらの領域を確認することにより、撮影画像、統合処理リスト及び後処理リストの内容を判定できる。

なお、統合処理リスト表示領域１９０３に表示されるリストは、統合処理リストのみに限定されない。例えば、撮像装置１１０ａは、ある補助処理装置１００ａについての第２処理リストを記憶部３０３に記憶しておく。撮像装置１１０ａは、それに補助処理装置１００ａが装着されていない場合であっても、記憶部３０３内の第２処理リストを情報処理装置１３０に送信できる。すなわち、撮像装置１１０ａは、過去にそれに装着された補助処理装置１００ａに関する第２処理リストを出力してもよい。この場合、情報処理装置１３０は、第２処理リストに含まれ、かつ、統合処理リストに含まれない解析処理を、補助処理装置１００ａの装着で可能となる解析処理として、グレーアウト表示できる。これにより、グレーアウトされた処理を実行可能とするために、ユーザに補助処理装置１００ａを撮像装置１１０ａに装着することを提示できる。また、例えば撮像装置１１０ａと補助処理装置１００ａが同一の処理機能を有する場合は、これらを統合して１つの処理として表示してもよい。この場合、撮像装置１１０ａは、それと補助処理装置１００ａのいずれでその処理を実行するかを決定することができる。この決定方法については後述する。

なお、情報処理装置１３０は、ユーザに表示する解析処理と後処理が、撮像装置１１０ａと補助処理装置１００ａのいずれで処理されるかを、ユーザが識別可能なように表示してもよい。例えば、撮像装置１１０ａは、統合処理リストを作成する際、統合処理リストに含まれる各解析処理が第１処理リストと第２処理リストのいずれに含まれかを示す情報を、統合処理リストに含める。情報処理装置１３０は、上記の情報に応じて、各解析処理の文字色を変えて表示することができる。これにより、ユーザは、各処理が補助処理装置１００ａを抜去しても実行可能な処理であるか否かを確認することができる。なお、撮像装置１１０ａと補助処理装置１００ａが、同一の処理を実行でき、両者を１つで統合表示している場合、以下の表示が可能である。補助処理装置１００ａが抜去されても実行可能な処理であることから、撮像装置１１０ａに対応する文字色で、上記の処理は表示される。ただし、これに限られず、撮像装置１１０ａと補助処理装置１００ａのいずれでも実行可能な処理であることを示す文字色で処理が表示されてもよい。

また、撮像装置１１０ａと補助処理装置１００ａが協働して実行可能となる処理が、統合処理リストに含まれる場合、その処理は協働が必要であることを統合処理リストに含んでもよい。この場合、撮像装置１１０ａと補助処理装置１００ａが協働することにより実現される処理は、さらに別の文字色で表示されてもよい。例えば、顔認証処理は、顔検出処理機能、顔特徴抽出処理機能、及び顔特徴照合処理機能の機能群によって実現される。撮像装置１１０ａが、顔検出処理機能と顔特徴抽出処理機能を有し、補助処理装置１００ａが顔特徴照合処理機能を有する。この場合、ユーザインタフェース１９０１は、例えば、顔検出処理と顔特徴抽出処理を青文字で表示し、顔特徴照合処理を赤文字で表示し、顔認証処理を緑文字で表示する。

なお、文字色の変更は、各機能が撮像装置１１０ａと補助処理装置１００ａのいずれで実行されるか又はこれらが協働することによって実行されるかを区別して表示するための一態様に過ぎない。他の態様で、このような区別的表示が行われてもよい。例えば、各処理の背景色の変更などによって、処理の実行主体が明示されてもよい。また、実行主体の相違が、文字列によって示されてもよい。例えば、撮像装置１１０ａによって実行される処理を示す文字列の後に、撮像装置１１０ａを表す文字列が付加される。補助処理装置１００ａによって実行される処理を示す文字列の後に、補助処理装置１００ａを表す文字列が付加される。また、撮像装置１１０ａと補助処理装置１００ａが協働することによって実現される処理を示す文字列に、それらの協働を示す文字列が付加されうる。

このように、撮像装置１１０ａは、第１処理リストに含まれる処理と第２処理リストに含まれる処理を区別する情報を、情報処理装置１３０へ提供する。これにより、撮像装置１１０ａは、情報処理装置１３０の表示部７０３に、各処理の実行主体を区別可能に表示させることができる。また、撮像装置１１０ａが表示部を備える場合も、第１処理リストに含まれる処理と第２処理リストに含まれる処理を区別する情報を用意することにより、各処理の実行主体を区別して表示することができる。すなわち、撮像装置１１０ａは、第１処理リストに含まれる処理と第２処理リストに含まれる処理を区別する情報を出力することで、任意の表示装置に各処理の実行主体を表示できる。

ユーザは、ユーザインタフェース１９０１で、統合処理リスト表示領域１９０３に表示されている統合処理リストから、操作部７０４を介して解析処理を選択できる。また、ユーザは、後処理リスト表示領域１９０４に表示されている処理リストから、操作部７０４を介して後処理を選択できる。例えば、図１９は、ユーザが、解析処理として「顔検出」処理を選択し、後処理として「表示」及び「保存」を選択した場合の例を示している。なお、本実施形態では、解析処理が１つのみ選択される例を示しているが、これに限られない。ユーザが複数の解析処理を選択可能なような構成であってもよい。例えば、「顔検出」に加え、「人体検出」と「車両検出」の少なくともいずれかが選択されてもよい。また、１つの処理が選択された場合に、他の処理が選択されないようにしてもよい。一例として、図１９の統合処理リスト表示領域１９０３において、「顔検出」が選択された状態で、「人体検出」が選択されると、「顔検出」の選択が解除されるようにしてもよい。また、図１９では、２つの後処理の両方が選択されている場合の例を示しているが、これらの一方のみを選択可能とするようにしてもよい。

図１０のＳ１００７で、ユーザによる解析処理及び後処理の選択に基づいて、その選択結果が撮像装置１１０ａへ通知される。また、制御部７０２は、所定期間ごとにユーザ選択の状態を確認し、どの処理が実行対象として選択されているかに応じて、実行対象の処理を撮像装置１１０ａへ通知してもよい。すなわち、図１０のＳ１００５からＳ１００７の処理が、定期的に実行されるようにしてもよい。また、Ｓ１００５及びＳ１００６の選択が常時監視され、その選択状態が変化した場合にＳ１００７の処理が実行されるようにしてもよい。

図２０は、実行対象の解析処理として「顔検出」が選択され、後処理として「表示」が選択されている場合の、Ｓ１２０３における情報の表示方法の一例を示す。図２０では、図１９のユーザインタフェース１９０１の画面において顔検出処理によって検出された人数２００１が、解析処理の結果として表示される。なお、図２０は一例に過ぎず、ユーザインタフェース１９０１とは別個に処理の結果が表示されてもよいし、ユーザインタフェース１９０１の中の別の領域に処理の結果が表示されてもよい。

また、ユーザが選択した実行対象の処理及び後処理のそれぞれに対して、さらに優先度が設定されてもよい。例えば、撮像装置１１０ａの制御部３０４は、実行対象処理に複数の優先度を設定している場合、実行対象の各処理に対し、優先度の順に図１１のＳ１１０３からＳ１１０７の処理を実行する。なお、処理の優先度に基づいて、撮像装置１１０ａの計算リソース、ネットワークリソースが割り振られてもよい。例えば、優先度の高い処理が、映像に対して第１の所定数フレームごとに実行されてよい。また、優先度の低い処理が、その映像に対して、第１の所定数フレームより多い第２の所定数フレームごとに実行されてもよい。すなわち、処理が実行される頻度が、優先度によって定められてもよい。また、優先度の高い処理の結果が情報処理装置１３０へ送信される頻度が、優先度の低い処理の結果が情報処理装置１３０へ送信される頻度より高くてもよい。

複数の処理を組み合わせることによって、所定の処理が実行可能となることがある。例えば、顔認証処理は、顔検出処理、顔特徴抽出処理及び顔特徴照合処理の処理を組み合わせることで実行可能となる。ここで、撮像装置１１０ａと補助処理装置１００ａが、これらの３つの処理のうちの少なくともいずれかを実行可能である場合、これらの装置間で処理を分担して実行できる。また、撮像装置１１０ａと補助処理装置１００ａは、例えば上述の３つの処理の少なくともいずれかについて、処理対象データの取得条件（例えば撮影条件）及び解析対象等の条件に適した異なる処理機能を用意できる。例えば、昼間に撮影された画像のための処理と、夜間に撮影された画像のための処理のそれぞれに対し、別個の処理機能が用意されてもよい。

図２１は、撮像装置１１０ａ及び補助処理装置１００ａは、顔検出処理機能、顔特徴抽出処理機能及び顔特徴照合処理機能を有し、顔認証処理をそれぞれ実行可能である構成を示す。なお、撮像装置１１０ａと補助処理装置１００ａのそれぞれの機能は、同様の機能であっても、機能使用時に適した条件等が異なる。撮像装置処理リスト２１０１は、顔検出Ａ、顔特徴検出Ａ、顔特徴照合Ａを含む。補助処理装置処理リスト２１０２は、顔検出Ｂ、顔特徴抽出Ｂ、顔特徴抽出Ｃ、顔特徴照合Ｂを含む。また、補助処理装置１００ａが、２つの顔特徴抽出処理機能（顔特徴抽出Ｂ、Ｃ）を有するように、撮像装置１１０ａと補助処理装置１００ａは、同様の処理を実行可能な複数の処理機能を有してもよい。これにより、撮像装置１１０ａと補助処理装置１００ａの間で適切に処理を分担することで、様々な条件等に適した処理が実行され得る。

なお、同じ処理を行う場合であっても、撮像装置１１０ａと補助処理装置１００ａの構成が異なるため、処理分担時のメリットとデメリットを有している。例えば、演算精度に関して、撮像装置１１０ａの演算処理部２０３はデータに対するビット幅が多く、演算精度が高い。演算速度に関して、補助処理装置１００ａの回路４０２は、論理回路で演算するため、演算速度が速い。また、同じ処理を実行可能な複数の処理機能が存在する際、撮像装置１１０ａによる撮影環境に基づいて、適切な処理機能が選択されると有利である。以上を考慮して、補助処理装置１００ａが処理機能を有する場合、その処理機能を使用するか否かを適切に決定し、使用される処理機能を適切に選択することが重要となる。

以下では、補助処理装置１００ａと撮像装置１１０ａのいずれに処理を実行させるか、撮像装置１１０ａと補助処理装置１００ａを協働させて処理を実行させるかを自動的に選択する手法について説明する。また、例えば撮像装置１１０ａ又は補助処理装置１００ａが、同一の処理を実行可能な複数の処理機能を有する場合、その複数の処理機能のうちのいずれを使用するか、使用される処理機能を自動的に選択する手法についても説明する。なお、以下では３つの処理例について個別に説明するが、これらの処理は組み合わせて用いられてもよい。

図２２は、使用される処理機能を選択するための第１の処理例について説明する。図２２では、画像解析処理に必要な性能を満たすよう、撮像装置１１０ａと補助処理装置１００ａが有する処理機能の中から、使用される処理機能が選択される。例えば、ある一定以上のフレームレートで処理が行われる必要がある等の条件があり、かつ、同じ処理を撮像装置１１０ａと補助処理装置１００ａが共に実行可能である場合に、本処理が実行される。

図２２でユーザが、ユーザインタフェース１９０１を介して、実行する解析処理を選択する（Ｓ２２０１）。制御部７０２は、ユーザ選択に基づいて、実行する解析処理の実行指示コマンドを撮像装置１１０ａへ送信する。制御部３０４は、実行指示コマンドを制御部７０２から取得する。なお、撮像装置１１０ａが、実行可能な処理を提示する情報提示機能と、ユーザに選択を行わせる操作受付機能を有する場合、以下の態様であってよい。ユーザは、撮像装置１１０ａを直接操作して、実行する解析処理を撮像装置１１０ａの制御部３０４に指示してもよい。

撮像装置１１０ａの制御部３０４は、ユーザ選択された解析処理を実行するために必要となる処理性能を確認する（Ｓ２２０２）。処理性能の設定については、処理ごとに設定値が事前に定められていてもよい。解析処理を選択する際に、ユーザによって目標値が設定されてもよい。そして、制御部３０４は、Ｓ２２０１において選択された解析処理を撮像装置１１０ａで実行する（Ｓ２２０３）。なお、この処理は、撮影と並行して実行され得る。また、選択された処理を実行する際に使用される処理機能のうち、補助処理装置１００ａにしか存在しない機能については、補助処理装置１００ａに実行させ、撮像装置１１０ａに実行させない。

制御部３０４は、処理を実行中又は一定量のデータ処理の完了後、実行した処理が、Ｓ２２０２で設定した処理性能を満たしているか否かを判定する（Ｓ２２０４）。制御部３０４は、処理性能を満たしていると判定した場合（Ｓ２２０４でＹＥＳ）、処理を継続するため、処理はＳ２２０３へ戻る。一方、制御部３０４は、処理性能を満たしていないと判定した場合（Ｓ２２０４でＮＯ）、処理性能を満足する処理分担へ変更するために、処理はＳ２２０５へ進む。

Ｓ２２０５で、撮像装置１１０ａで行われていた処理の一部であって、補助処理装置１００ａにおいても実行可能な処理について、実行主体を補助処理装置１００ａへ変更する。制御部３０４は、既に補助処理装置１００ａで実行可能な処理を判定している。制御部３０４は、その処理のリスト（第２処理リスト）内から、補助処理装置１００ａに分担させる処理を選択し、処理の実行主体を変更する。変更処理の完了後、制御部３０４及び解析部５０１が、Ｓ２２０１で選択された処理を分担して実行する（Ｓ２２０６）。その後、制御部３０４が、補助処理装置１００ａの処理機能を撮像装置１１０ａに戻すか否かを判定する（Ｓ２２０７）。撮像装置１１０ａに処理機能を戻すことにより、高い演算精度で処理を実行することができる。

制御部３０４は、例えば、Ｓ２２０４で処理性能を満たさないと判定した理由が、一時的な高負荷状態であった場合等で、その状態が解消したならば、撮像装置１１０ａに処理機能を戻すと判定する。すなわち、制御部３０４は、撮像装置１１０ａの処理負荷に応じて、処理機能を撮像装置１１０ａと補助処理装置１００ａのいずれが実行するかを決定する。なお、上述のように、撮像装置１１０ａの処理負荷が高い状態で、補助処理装置１００ａに処理を実行させることに限定されない。補助処理装置１００ａの処理負荷が高い状態で撮像装置１１０ａに処理を実行させるようにしてもよい。すなわち、補助処理装置１００ａの処理負荷に基づいて、処理を撮像装置１１０ａと補助処理装置１００ａのいずれが処理を実行するかが決定されてもよい。

また、制御部３０４は、ユーザによって処理性能の目標値が下げられた場合、撮像装置１１０ａに処理を戻す判定を行う。制御部３０４は、処理を撮像装置１１０ａに戻すと判定した場合（Ｓ２２０７でＹＥＳ）、処理はＳ２２０８に進む。補助処理装置１００ａで実行された処理の一部について、実行主体を撮像装置１１０ａへ変更する（Ｓ２２０８）。なお、Ｓ２２０８で実行主体が撮像装置１１０ａに戻される処理は、Ｓ２２０５で実行主体が補助処理装置１００ａに変更された処理の一部でもよく、全部であってもよい。処理の少なくとも一部の実行主体が撮像装置１１０ａに戻された後、処理は終了する。一方、制御部３０４は、処理機能を撮像装置１１０ａに戻さないと判定した場合（Ｓ２２０７でＮＯ）は、処理はＳ２２０６に戻り、処理分担を変更することなしに処理を継続する。

なお、補助処理装置１００ａが、同一の処理について実行可能な複数の処理機能を有する場合、以下の態様が実行されてもよい。処理の一部の実行主体が補助処理装置１００ａへ変更された後、それが処理性能を満たさないと判定された場合、同じ機能を実行する別の処理機能に切り替えてもよい。すなわち、Ｓ２２０７で、処理の実行主体を切り替えるのではなく、実行主体を補助処理装置１００ａのままとし、使用する処理機能のみを変更してもよい。

また、制御部３０４は、処理の一部の実行主体が補助処理装置１００ａへ変更された後で、Ｓ２２０２で確認した処理性能を満たさない場合、その処理の実行主体を撮像装置１１０ａに戻してもよい。このとき、制御部３０４は、処理性能を示す情報を、現在装着中の補助処理装置１００ａでは満たすことができない情報として記憶する。そして、制御部３０４は、同様の処理性能又はそれよりも厳しい処理性能が要求される場合、処理を補助処理装置１００ａに実行させないようにしてもよい。同様に、例えば撮像装置１１０ａの処理負荷が十分小さい状況等でも、処理性能を満たすことができない場合、その処理性能の情報を記憶しておいてもよい。ここで、制御部３０４は、後の処理において、Ｓ２２０２で記憶した処理性能又は、それより厳しい処理性能が確認された場合、以下の態様を実行する。制御部３０４は、Ｓ２２０３の処理を実行することなく、処理の一部の実行主体を補助処理装置１００ａに変更する。

第１の処理例によれば、要求される処理性能を満たすように、撮像装置１１０ａと補助処理装置１００ａが有する処理機能が選択される。選択された処理機能をこれらの装置間で分担して、処理は実行される。これにより、例えば撮像装置１１０ａの状態等に応じて、適切な処理分担がなされるようになり、処理性能を良好に保つことが可能となる。

図２３は、処理機能を適切に選択するための第２の処理例について説明する。本処理は、補助処理装置１００ａは同一処理を実行可能な複数の処理機能を有している場合に、使用に適した処理機能を選択するために実行される。なお、本処理は、第１の処理例において、補助処理装置１００ａに一部の処理を実行させることが決定された場合等に実行される。すなわち、本処理は、補助処理装置１００ａが処理を実行する際、実行可能な１つ以上の処理機能のうちいずれで処理するかを決定する。これは一例に過ぎず、本処理例により、撮像装置１１０ａと補助処理装置１００ａの処理分担が決定されてもよい。例えば、撮像装置１１０ａと補助処理装置１００ａが、統合処理リストにおいて、同一の処理を実行可能な複数の処理機能を有する場合に、本処理が適用される。その際、いずれの処理機能を使用するかを決定するために、本処理が使用されてもよい。すなわち、本処理は、撮像装置１１０ａと補助処理装置１００ａが同一の処理を実行可能な処理機能をそれぞれ１つ以上有する場合、いずれの装置のどの処理機能を用いて処理を実行すべきかを決定する。

図２２では、図２２のＳ２２０１と同様に、ユーザが、情報処理装置１３０を介して解析処理を選択する。撮像装置１１０ａの制御部３０４は、選択された処理を示す情報を情報処理装置１３０から取得する（Ｓ２３０１）。制御部３０４は、補助処理装置１００ａが実行可能な処理のリスト（第２処理リスト）を判定する。制御部３０４は、解析処理について、補助処理装置１００ａに同じ処理を実行可能な処理機能が複数あるか否かを判定する（Ｓ２３０２）。制御部３０４は、解析処理を実行可能な処理機能が１つであると判定した場合（Ｓ２３０２でＮＯ）、処理はＳ２３０３に進む。制御部３０４は、その処理機能を使用して処理を実行する（Ｓ２３０３）。一方、制御部３０４は、解析処理を実行可能な処理機能が複数存在すると判定した場合（Ｓ２３０２でＹＥＳ）、処理はＳ２３０４に進む。以下では、その複数の処理機能のうちいずれを用いて処理するかを判定する方法を説明する。

Ｓ２３０４で、制御部３０４は、Ｓ２３０２で判定された同一の処理を実行可能な複数の処理機能の特徴を判定する。ここで、特徴判定とは、例えば顔特徴抽出について、第１の処理機能は昼間の相対的に輝度が高い画像の処理に適しているといった判定である。同様に、制御部は第２の処理機能は夜間の相対的に輝度が低い画像の処理に適しているといった特徴を判定する。制御部３０４は、各処理機能の特徴の違いを判定した後、現在どのような環境で撮像装置１１０ａが撮影を行っているかを判定する（Ｓ２３０５）。制御部３０４は、Ｓ２３０４で取得した処理機能ごとの特徴と、Ｓ２３０５で取得した撮影環境の情報に基づいて、解析処理に用いる処理機能を選択する（Ｓ２３０６）。制御部３０４は、選択した処理機能を用いて解析処理を実行する（Ｓ２３０７）。

ここで、撮影環境の判定は、例えば、撮像装置１１０ａの内部時計、撮像装置１１０ａによって撮影された画像の輝度値の分布に基づいて、判定されてよい。例えば、内部時計が夜間の時間帯を示す場合、制御部３０４は、相対的に輝度値が低い画像の処理に適した処理機能を選択する。また、制御部３０４は、撮影画像の輝度値が低い方に偏って存在する場合、相対的に輝度値が低い画像の画像処理に適した処理機能を選択する。また、処理機能ごとに輝度値に対する検出精度の評価値の分布が用意されてもよい。例えば、撮影画像の各輝度値の度数とその輝度値に対する検出精度を示す値を乗じて加算した値の和が最も良好な処理機能が選択されるようにしてもよい。また、撮影環境の判定は、例えば、撮像装置１１０ａの撮影時の画角（パン、チルト、ズーム）の情報に基づいて判定されてもよい。

例えば、室内の暗い領域を撮影しているのか、窓際の明るい領域を撮影しているのかに応じて、いずれの処理機能が使用されるかが選択される。なお、処理機能の特徴は、輝度値以外の指標によって規定されてもよい。例えば、窓等の所定のオブジェクトが含まれる画像における顔抽出精度が高い、高速移動している物体の検出精度が高い等、様々な特徴が、使用される処理機能の選択の基準として使用されうる。また、例えば、各処理機能は、処理が高速であるが低精度であるという特徴や、処理が相対的に低速であるが高精度であるという特徴等を有してもよく、処理条件に応じて適した処理機能が選択されるようにしてもよい。

制御部３０４は、処理中に、撮影環境が変化したか否かを判定する（Ｓ２３０８）。制御部３０４は、撮影環境が変化したと判定する場合（Ｓ２３０８でＹＥＳ）、処理はＳ２３０６に進む。制御部３０４は、環境変化後の撮影環境に適した処理機能を選択する処理を再度実行する（Ｓ２３０６）。制御部３０４は、選択された処理機能で解析処理を実行する（Ｓ２３０７）。一方、制御部３０４は、撮影環境が変化していないと判定する場合（Ｓ２３０８でＮＯ）、処理機能を変更せずに解析処理を継続し、処理を終了する。本処理によれば、同一の処理を実行可能な複数の処理機能の中から、環境に適した処理機能を選択して使用することが可能となる。これにより、処理の精度等の観点で、撮影環境ごとに適切な処理機能を選択的に使用することが可能となる。

図２４は、撮像装置１１０ａと補助処理装置１００ａの間で処理の分担を決定するための第３の処理例について説明する。本処理では、補助処理装置１００が有する処理機能の組み合わせのみで処理を完遂できるか否かに応じて、処理の分担を決定する。

図２４で、図２２のＳ２２０１や図２３のＳ２３０１と同様に、ユーザが、情報処理装置１３０を介して解析処理を選択する。撮像装置１１０ａの制御部３０４は、選択された処理を示す情報を情報処理装置１３０から取得する（Ｓ２４０１）。制御部３０４は、選択された処理を、補助処理装置１００ａのみで実行可能か否かを判定する（Ｓ２４０２）。なお、制御部３０４は、例えば、選択された処理の全機能を補助処理装置１００ａが有する処理機能の組み合わせによって満たすことができるか否かを判定する。また、制御部３０４は、補助処理装置１００ａに処理結果を保存してよいか否か等に基づいて、Ｓ２４０２の判定を行いうる。制御部３０４は、補助処理装置１００ａが有する処理機能の組み合わせで選択された処理の全機能を満たすことができ、かつ、処理結果をそれに保存してよい場合、補助処理装置１００のみによる処理が可能であると判定する。

制御部３０４は、選択された処理を補助処理装置１００ａのみでは実行できないと判定した場合（Ｓ２４０２でＮＯ）、処理はＳ２４０３に進む。制御部３０４は、撮像装置１１０ａと補助処理装置１００ａに対し処理の分担を行う（Ｓ２４０３）。このとき、第１の処理例及び第２の処理例と同様に、処理の分担の決定が行われる。なお、制御部３０４は、処理の全てを撮像装置１１０ａで実行するよう、補助処理装置１００ａの処理機能を使用しなくてもよい。一方、制御部３０４は、選択された処理を補助処理装置１００ａのみで実行できると判定した場合（Ｓ２４０２でＹＥＳ）、処理はＳ２４０４に進む。制御部３０４は、補助処理装置１００ａが有している処理機能のうち、いずれの処理機能を使用するかを選択する（Ｓ２４０４）。

なお、補助処理装置１００ａが同一の処理を実行可能な処理機能を複数有する場合、第２の処理例のように、上記のいずれの処理機能を使用するかが選択される。その後、制御部３０４は、補助処理装置１００ａに選択処理機能を用いて画像解析処理を実行させるための処理を実行する（Ｓ２４０５）。また、制御部３０４は、Ｓ２４０５における画像解析処理を行った結果を補助処理装置１００ａ内に保存させる処理を実行し（Ｓ２４０６）、処理は終了する。これらの処理は、例えばＳＤ規格のコマンドを用いて実行される。なお、Ｓ２４０６では、記憶部４０４に画像処理解析結果が保存されてもよく、回路４０２がＲＡＭを備える場合、ＲＡＭにその結果が保存されてもよい。

本処理は、補助処理装置１００ａで処理を実行できる場合に、処理を補助処理装置１００ａに実行させる。これにより、撮像装置１１０ａが実行する処理は、補助処理装置１００ａへの画像の送信のみとなることから、撮像装置１１０ａの処理負荷は大幅に低減される。以上のように、補助処理装置１００ａを用いて、撮像装置１１０ａが実行可能な処理機能を増やすことにより、撮像システム１０の処理機能は増強される。例えば、最新の処理機能を補助処理装置１００ａに実装することにより、撮像装置１１０ａを置き換える必要がなくなる。また、撮像装置１１０ａが、その最新の処理機能による画像解析処理を実行することが可能となる。これにより、撮像システム１０の柔軟な運用が可能となることから、ユーザの利便性を向上させることができる。

図２５は、撮像装置１１０ａが補助処理装置１００ａの故障診断を行う処理の流れの一例を示す。本処理は、図８のＳ８０２の処理の後に行われる。記憶部３０３は、回路４０２の故障診断（テスト処理）を行うために、処理部４１２内で実行する設定パラメータとテスト画像を有する。記憶部３０３はまた、テスト画像と設定パラメータを用いて処理部４１２で処理を実行したときの出力値である期待値（信号情報）をさらに有する。ここで、テスト処理の入力は、１２８ｘ１２８のＲＧＢ画像であり、出力は１０００個の８ｂｉｔデータ列である。さらに、テスト処理は深層学習で用いられる畳み込み演算と、ＲｅＬＵの演算をそれぞれ１回行う。テスト画像は、ＲＧＢの各値が２５６段階のうち１２８のグレー画像である。期待値は１０００個の８ｂｉｔデータ列が全て０．５である。

図２５で、撮像装置１１０ａは記憶部３０３の設定パラメータを補助処理装置１００ａの記憶部４０４へ書き込む。補助処理装置１００ａは、設定パラメータを回路４０２にロードする（Ｓ２５０１）。撮像装置１１０ａは、必要に応じて、設定パラメータに対応する論理回路データを回路４０２に転送することで、回路４０２の再構成が行われてもよい。撮像装置１１０ａの演算処理部２０３が、補助処理装置１００ａの記憶部４０４に対して、記憶部３０３のテスト画像を転送する（Ｓ２５０２）。テスト画像の転送完了後、補助処理装置１００ａの記憶部４０４が当該テスト画像を記憶すると、回路４０２の処理部４１２が、当該テスト画像に対して、当該設定パラメータを用いてテスト処理を実行する（Ｓ２５０３）。テスト処理後、撮像装置１１０ａは、補助処理装置１００ａからテスト処理結果を取得する（Ｓ２５０４）。テスト処理結果は信号情報ともいう。

撮像装置１１０ａの演算処理部２０３は、テスト処理結果と記憶部３０３内のテスト画像に対応する期待値を比較する。演算処理部２０３は、比較結果が完全に一致している場合、処理を終了し、また、比較結果が一致していない場合、Ｓ２５０７へ移行する（Ｓ２５０５）。このとき、演算処理部２０３は、テスト処理結果と期待値が有する１０００個の値がすべて一致しているかどうかを判定する。すなわち、演算処理部２０３は、テスト処理結果の１０００個の値の全てが０．５であるか否かを判定する。演算処理部２０３は、比較結果が条件を満たさないと判定する場合（Ｓ２５０５でＮｏ）、処理はＳ２５０７に進む。演算処理部２０３は、補助処理装置１００ａの故障（異常）であると判定し、表示部７０３にメッセージダイアログを表示する（Ｓ２５０７）。ここでは、補助処理装置１００ａが備える処理部４１２及び記憶部４０４の少なくとも何れかが異常（故障）であると判定する。メッセージダイアログの表示例を図２６に示す。図２６で画面Ｓ２６０１は、「デバイスにおいて、演算処理中にエラーが発生しました。サポートセンターに連絡してください。」を表示する。図２６のＯＫボタンをユーザが押下すると、画面Ｓ２６０１が消失するような構成であってよい。

なお、テスト処理は、入力に応じて出力が変わるものであれば、テスト画像に限定されることなく、任意なものであってよい。また、回路４０２に実装された回路に応じて演算を行う処理であってよい。例えば、深層学習で用いられるＰｏｏｌｉｎｇの演算が実行される場合、Ｐｏｏｌｉｎｇの演算が回路４０２に実装されてもよい。さらに、演算処理部２０３の演算量が多く、それが計算途中の一時データの保存領域として記憶部４０４を使用する場合がある。テスト処理は、記憶部４０４を使用しない小規模の処理であってもよい。これにより、正確に回路４０２の処理部４１２と記憶部４０４のいずれが故障しているかを判定することができる。

テスト画像は、撮像装置１１０ａで生成されるものであってもよい。例えば、ＲＧＢの値が全て０．５となるような画像を計算で生成し、補助処理装置１００ａへその画像を転送するようにしてもよい。設定パラメータ、テスト画像及び期待値は、任意の場所に保存されてよい。例えば、設定パラメータと期待値は、予め補助処理装置１００ａの記憶部４０４に記憶されてもよく、それらとテスト処理結果は、撮像装置１１０に転送されてもよい。また、比較結果が異なっていた場合に表示するメッセージダイアログは、ユーザに故障を通知するものであれば任意の形式であってよい。さらに、比較結果が同じであった場合に、ユーザに補助処理装置１００ａが正常であることを通知するメッセージであってもよい。また、通知は、コンソールへの出力、撮像装置１１０ａに接続された別のサーバへのイベント通知、サーバに接続するクライアントへメッセージを表示する形態であってもよい。

次に、補助処理装置１００ａに記憶部が２種類搭載されている場合の例について述べる。本処理は、図８のＳ８０４以降、ユーザによって任意のタイミングで行われるが、ここではＳ８０６の処理の後に行われる例を説明する。図２７は、補助処理装置１００ａのハードウェアの構成例を示す。図４と同様の構成要素については説明を省略する。補助処理装置１００ａは、図４の記憶部４０４の代わりに、記憶部Ａ４０５と記憶部Ｂ４０６を含む。記憶部Ａ４０５は、電源を切っても情報が保存される不揮発性のメモリ（ＲＯＭ）であり、回路４０２の処理部４１２内で処理される設定パラメータを保存する。記憶部Ｂ４０６は電源が切れると情報が消去される揮発性のメモリ（ＲＡＭ）であり、処理部４１２で処理に必要な入力データを保存する。

テスト処理における設定パラメータは、画像解析処理で使用される設定パラメータと同じものである。ここでは、特に画像解析処理として顔検出を行う場合を説明する。この時、第１の実施例と同様、入力は１２８ｘ１２８のＲＧＢ画像であり、出力は１０００個の８ｂｉｔデータ列である。テスト画像はＲＧＢ各値が２５６段階のうち１２８のグレー画像であり、期待値は１０００個の８ｂｉｔデータ列が全て０．５を有する。画像解析処理で使用される設定パラメータは、記憶部Ａ４０５と撮像装置１１０ａの記憶部３０３に保存され、テスト画像と期待値は、記憶部３０３に保存される。また、記憶部３０３は、記憶部Ａ４０５に画像解析処理で使用される設定パラメータを再インストールしたことを示す再インストール済フラグを保持する。記憶部３０３は、テスト処理で補助処理装置１００ａを再起動したことを示す再起動済みフラグを保持する。テスト処理が行われる前、上記全てのフラグは、ＯＦＦの状態である。

図２８（ａ）は、補助処理装置１００ａの故障判定処理の一例を示す。図２８（ａ）で、撮像装置１１０ａの演算処理部２０３が、記憶部Ａ４０５に対して、記憶部３０３のテスト画像を転送する（Ｓ２８０１）。テスト画像の転送完了後、補助処理装置１００ａは、記憶部Ａ４０５のテスト画像に対して、画像解析処理用の設定パラメータで、回路４０２（処理部４１２）に解析処理を実行させる（Ｓ２８０２）。回路４０２（処理部４１２）による解析処理の後、撮像装置１１０ａは、補助処理装置１００ａから解析結果Ａ（信号情報）を取得する（Ｓ２８０３）。次に、演算処理部２０３が、記憶部Ｂ４０６に対して、記憶部３０３のテスト画像を転送する（Ｓ２８０４）。テスト画像の転送完了後、補助処理装置１００ａが、記憶部Ｂ４０６のテスト画像に対して、画像解析処理用の当該設定パラメータで、回路４０２（処理部４１２）に解析処理を実行させる（Ｓ２８０５）。回路４０２（処理部４１２）による解析処理の後、撮像装置１１０ａは、補助処理装置１００ａから解析結果Ｂ（信号情報）を取得する（Ｓ２８０６）。

演算処理部２０３が、解析結果Ａと解析結果Ｂ、及び、記憶部３０３内の期待値をそれぞれ比較する。演算処理部２０３が、解析結果Ａと期待値、及び、解析結果Ｂと期待値が完全に一致していると判定する場合（Ｓ２８０７でＹｅｓ）、処理は終了する。演算処理部２０３が、解析結果Ａと期待値、及び、解析結果Ｂと期待値のいずれか又は両方が一致していないと判定する場合（Ｓ２８０７でＮｏ）、処理はＳ２８０８に進む。ここで、演算処理部２０３は、解析結果Ａと解析結果Ｂの出力である１０００個の８ｂｉｔデータ列の値が、期待値と全て一致しているか否かを判定する。すなわち、演算処理部２０３は、解析結果Ａ及び解析結果Ｂの１０００個の値が全て０．５であるか否かを判定する。ここでは、補助処理装置１００ａが備える処理部４１２、記憶部Ａ４０５、及び記憶部Ｂ４０６の少なくとも何れかが異常（故障）であると判定する。演算処理部２０３は、判定結果に基づく細部の故障判定処理を行う（Ｓ２８０８）。

次に、細部の故障判定処理について述べる。本実施例における、各解析結果（Ａ、Ｂ）と期待値の比較結果と、故障の対応関係について説明する。本実施形態は、記憶部Ｂ４０６の故障及び処理部４１２の故障を判断する。なお、記憶部Ａ４０５は、初期シーケンスとしてＳ８０２が正常に完了し、本シーケンスが実行される時点で、正常な状態である。図２８（ｂ）は、補助処理装置１００ａの細部の故障判定処理の一例を示す。

図２８（ｂ）で、演算処理部２０３は、解析結果Ａと期待値、及び、解析結果Ｂと期待値のいずれか又は両方が一致しないか否かを判定する。さらに、演算処理部２０３は、再インストール済フラグの表示結果がＯＦＦか否かを判定する（Ｓ２８１０）。つまり、演算処理部２０３は、２つの条件を共に満足するか否かを判定し、２つの条件が満たされた場合、処理はＳ２８１１に進む。演算処理部２０３は、解析結果Ａと期待値、及び、解析結果Ｂと期待値は一致せず、再インストール済フラグがＯＦＦである場合（Ｓ２８１０でＮｏ）、処理部４１２が異常であると判定する。Ｓ２８１０の上述の条件を満たさない場合（Ｓ２８１０でＹｅｓ）、処理はＳ２８１２に進む。

演算処理部２０３は、記憶部３０３内の画像解析処理用の設定パラメータを記憶部Ａ４０５へ再インストールし、再インストール済フラグをＯＮにする（Ｓ２８１１）。このとき、表示部７０３に「デバイスに設定パラメータを再インストールします」というメッセージダイアログを表示する。その後、Ｓ２８０１以降のテスト処理が再開され（Ｓ２８１４）、処理は終了する。Ｓ２８１２に戻って、演算処理部２０３は、解析結果Ａと期待値が一致し、解析結果Ｂと期待値が一致しないかどうかを判定し、再起動済フラグがＯＦＦか否かを判定する（Ｓ２８１２）。演算処理部２０３が、解析結果Ａと期待値が一致し、解析結果Ｂと期待値が一致せず、再起動済みフラグがＯＦＦである場合（Ｓ２８１２でＮｏ）、記憶部Ｂ４０６は異常であると判定する。さらに、演算処理部２０３は、補助処理装置１００ａを再起動させると判定し、処理はＳ２８１３に進む。演算処理部２０３が、Ｓ２８１２の条件を満たさない場合、すなわち、解析結果Ａと期待値が一致せず、及び、解析結果Ｂと期待値が一致し、再起動済フラグがＯＮである場合（Ｓ２８１２でＹｅｓ）、処理はＳ２８１５に進む。

Ｓ２８１３で、演算処理部２０３は、再起動済フラグをＯＮにし、１分後に補助処理装置１００ａの再起動を行う（Ｓ２８１３）。このとき、表示部７０３に「１分後に再起動を行います」というメッセージダイアログを表示する。その後、Ｓ２８０１以降のテスト処理を再度実行し（Ｓ２８１４）、処理は終了する。処理部４１２が異常であり、かつ、再インストール済フラグがＯＮであると判定された場合、演算処理部２０３は、処理部４１２の故障（異常）であると判定する。あるいは、記憶部Ｂ４０６が異常であり、かつ、再起動済フラグがＯＮであると判定された場合、演算処理部２０３は、記憶部Ｂ４０６の故障と判定する。演算処理部２０３は、故障対象を表示部７０３にメッセージダイアログで表示する（Ｓ２８１５）。例えば、「デバイスにおいて、演算処理中にエラーが発生しました。サポートセンターに連絡してください」というメッセージの後に、以下のメッセージを表示する。表示部７０３は、例えば「演算処理部が異常です」又は「メモリが異常です」といったメッセージを表示する。

Ｓ２８１１で設定パラメータを再インストールする際、必要に応じて、設定パラメータに対応する論理回路データを回路４０２に転送し、それの再構成が行われてもよい。また、設定パラメータの再インストールを促すメッセージのみを表示し、ユーザに設定パラメータの再インストールを行わせるようにしてもよい。Ｓ２８１２の判定条件の中で、再起動を行ったか否かを表す再起動済フラグを用いるが、それの代わりに再起動回数をカウントするカウンタが用いられてもよい。例えば、処理部４１２の再起動が閾値に達するまで、再起動は行われ、閾値を超えた場合に、記憶部Ｂ４０６が故障していると判定されてもよい。Ｓ２８１３で補助処理装置１００ａの再起動を行うまでの待機時間は、補助処理装置１００ａの状態に応じて変更されてよい。例えば、補助処理装置１００ａの温度が閾値よりも低い場合、再起動が行われてもよい。また、再起動を促すメッセージのみを表示して、ユーザに補助処理装置１００ａの再起動を行わせるようにしてもよい。

上述の実施形態で、解析処理が画像解析処理である例を説明したが、本発明は音声解析処理にも適用可能である。具体的には、悲鳴、銃声、ガラス破壊音のような音声パターンを検知する処理に適用可能である。例えば、スペクトル解析等の種々の音声データの分析手法で音声の特徴量を抽出し、それを検出した音声パターンと比較する。特徴量と検出した音声パターンの一致度に基づいて、特定の音声パターンを検出することができる。また、音声解析処理を行う場合、音声データを所定の時間分の音声データに分割し、その所定の時間分の音声データを単位として音声解析処理を行う。また、この所定の時間は、検出対象の音声パターンに応じて、変更される。そのため、補助処理装置１００ａに、検知したい音声パターンに対応する時間分ごとの音声データが入力される。補助処理装置１００ａは、その入力された音声データを解析する手段や、入力された音声データを保持する手段を有する。

また、上述の実施形態で、撮像装置１１０ａから入力されたデータを非一時的に格納可能な補助処理装置１００ａを例として説明した。しかし、一部の実施形態において、撮像装置１１０ａから入力されたデータを非一時的に格納することができない補助処理装置１００ａが使用されてもよい。つまり、補助処理装置１００ａは、撮像装置１１０ａから入力されたデータに対して解析処理を行うのみで、そのデータを非一時的に記憶しなくてもよい。すなわち、通常のＳＤカードのようにデータ保持機能を有するのではなく、解析処理に特化した機能を有した補助処理装置１００ａであってもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０：撮像システム、１００ａ～１００ｄ：補助処理装置、１１０ａ～１１０ｄ：撮像装置、１２０：ネットワーク、１３０：情報処理装置

Claims (17)

1. 撮像された第１画像を処理することで得られる第１信号情報を予め記憶する第１記憶手段と、
   前記第１画像を前記第１記憶手段とは異なる第２記憶手段に送信する第１処理手段と、
   前記第２記憶手段に記憶された前記第１画像を処理する第２処理手段と、
   前記第１信号情報と、前記第２処理手段が前記第１画像を処理することにより得られる第２信号情報との一致に基づいて、前記第２処理手段と前記第２記憶手段の少なくともいずれかが異常であるか否かを判定する判定手段を備える、
   ことを特徴とする、撮像制御装置。
2. 前記判定手段は、前記第１信号情報と第２信号情報が一致しない場合、前記第２処理手段が異常であると判定する、
   ことを特徴とする、請求項１に記載の撮像制御装置。
3. 前記判定手段は、前記第１信号情報と第２信号情報とが一致する場合、前記第２処理手段及び前記第２記憶手段が異常ではないと判定する、
   ことを特徴とする、請求項１又は２に記載の撮像制御装置。
4. 前記第２処理手段及び第２記憶手段が異常であるか否かをユーザに通知する通知手段を備える、
   ことを特徴とする、請求項１から３のいずれか１項に記載の撮像制御装置。
5. 前記第１記憶手段と前記第２記憶手段は、前記第２処理手段が前記第１画像を処理するためのパラメータを事前に記憶する、
   ことを特徴とする、請求項１から４のいずれか１項に記載の撮像制御装置。
6. 前記判定手段によって、前記第２処理手段が異常であると判定された場合、前記第１処理手段は、前記第１記憶手段の前記パラメータを前記第２記憶手段に再インストールする、
   ことを特徴とする、請求項５に記載の撮像制御装置。
7. 前記判定手段によって、前記第２処理手段が異常であると判定された場合、前記第１処理手段は、前記第２処理手段を再起動する、
   ことを特徴とする、請求項２に記載の撮像制御装置。
8. 前記判定手段は、前記第１処理手段による前記第２処理手段の再起動回数に基づいて、前記第２処理手段が異常であるか否かを判定する、
   ことを特徴とする、請求項７に記載の撮像制御装置。
9. 前記第１画像が送信される第３記憶手段をさらに備え、
   前記判定手段は、前記第１信号情報と前記第２信号情報との一致、及び、前記第１信号情報と前記第２処理手段が前記第３記憶手段の前記第１画像を処理することにより得られる第３信号情報との一致に基づいて、前記第２処理手段と前記第３記憶手段のいずれかが異常であるか否かを判定する、
   ことを特徴とする、請求項１から８のいずれか１項に記載の撮像制御装置。
10. 前記判定手段は、前記第１信号情報と前記第２信号情報とが一致せず、かつ、前記第１信号情報と前記第３信号情報とが一致しない場合、前記第２処理手段が異常であると判定する、
    ことを特徴とする、請求項９に記載の撮像制御装置。
11. 前記判定手段は、前記第１信号情報と前記第２信号情報とが一致し、かつ、前記第１信号情報と前記第３信号情報とが一致しない場合、前記第３記憶手段が異常であると判定する、
    ことを特徴とする、請求項９又は１０に記載の撮像制御装置。
12. 前記第１記憶手段は、前記第１画像を処理するためのパラメータが前記第２記憶手段に再インストールされたか否かを示す第１フラグと、前記第２処理手段が再起動されたか否かを示す第２フラグを有し、
    前記判定手段は、前記第１フラグと前記第２フラグに基づいて、前記第２処理手段が異常であるか否か及び前記第３記憶手段が異常であるか否かをさらに判定する、
    ことを特徴とする、請求項９から１１のいずれか１項に記載の撮像制御装置。
13. 前記判定手段は、前記第１信号情報と前記第２信号情報とが一致せず、かつ、前記第１信号情報と前記第３信号情報とが一致しない場合、及び、前記第１フラグにより前記パラメータが前記第２記憶手段に再インストールされていることを示す場合、前記判定手段は前記第２処理手段が異常であると判定する、
    ことを特徴とする、請求項１２に記載の撮像制御装置。
14. 前記判定手段は、前記第１信号情報と前記第２信号情報とが一致し、かつ、前記第１信号情報と前記第３信号情報が一致しない場合、かつ、前記第２フラグにより前記第２処理手段が再起動されていることを示す場合、前記第３記憶手段が異常であると判定する、
    ことを特徴とする、請求項１２又は１３に記載の撮像制御装置。
15. 複数の撮像装置と
    請求項１から１４のいずれか１項に記載の撮像制御装置を含む、
    ことを特徴とする、撮像システム。
16. 撮像された第１画像の第１信号情報を予め記憶することと、
    前記第１画像を送信する第１処理工程と、
    前記第１画像を処理する第２処理工程と、
    前記第１信号情報と、前記第１画像を処理することにより得られる第２信号情報との一致に基づいて、撮像制御装置が異常であるか否かを判定する判定工程を備える、
    ことを特徴とする、撮像制御方法。
17. コンピュータを、請求項１から１４のいずれか１項に記載の撮像制御装置のうち第１記憶手段と第２記憶手段と第３記憶手段を除く各手段として機能させるためのプログラム。

Images