JP7165140B2 - 効率的配置のための直列構成カメラアレイ - Google Patents

Description

関連出願の相互参照
この出願は、２０１８年５月１０日に出願された米国仮特許出願第６２／５０４，５０１号の利益を主張するものであり、この参照によりその全体が組み込まれる。

技術分野
本発明は、一般に、マルチカメラシステム分野に関し、より具体的には、環境にカメラアレイを装備するための新規で有用なシステム及び方法に関する。

背景
様々なサービス及びアプリケーションを推進するために、環境内でセンサ駆動監視を行う新興の技術分野がある。一例として、最近の技術開発では、コンピュータビジョンを使用し、時に他の形式のセンシングと組み合わせることによって、店舗内で自動チェックアウトを可能にすることを目的とする初期提案システムが見うけられる。そのような実装の多くは、運用上の複雑さや高額なシステム設置コストを含む多くの要因により、その広範な使用が制限されている。

一例として、ビルなどの環境にマルチカメラ監視システムを設置することは、大きなプロジェクトになり得る。含まれる機器は高価な場合があり、しばしば、複雑で高価なカメラが含まれる。同様に、既存のインフラストラクチャ（棚、照明、通気孔など）を有する既存の店舗への設置を検討する場合、設置プロセス、又は設置の実行可能性さえも複雑である。

加えて、高度にカスタマイズされたシステムを設置するために、作業者に高度なトレーニングを必要とする。たとえトレーニングされていても、各カメラの設置、照準合わせ、較正、及び構築は複雑なプロセスになり得るため、システムのセットアップは長いプロセスになる場合がある。システムのメンテナンスも同様に、高価で複雑である。更に、アクティブに使用している場合、マルチカメラ監視システムは、皮肉なことに、それらの使用を制限し得る大量のデータを生成する可能性がある。このように、マルチカメラシステム分野では、環境にわたるユビキタスビデオ監視のための新規で有用なシステム及び方法を作成する必要がある。本発明は、そのような新規で有用なシステム及び方法を提供する。

図面の簡単な説明
システムの具体化の概略図である。 一連のカメラモジュールのネットワーク図である。 システムの具体化の概略図である。 吊り下げカメラモジュールの例示的な構成の概略図である。 吊り下げカメラモジュールの例示的な構成の概略図である。 棚通路内に整列された２列のカメラモジュールの例示的な構成の概略図である。 吊り下げカメラモジュールの例示的構成の概略図である。 例示的なカメラモジュールレール筐体本体の概略図である。 吊り下げカメラモジュールの概略図である。 天井タイルと互換性のあるカメラモジュール本体の底面概略図である。 天井タイル構造システム内で使用可能なカメラモジュール本体の上面概略図である。 カメラ及びカメラモジュール間隔の概略図である。 例示的なシングルポイントカメラモジュールの概略図である。 組み込みカメラモジュールの概略図である。 カメラモジュール用の代替的取り付けシステムの概略図である。 カメラモジュール、冗長電力及びネットワーク接続、並びにカメラサブシステムユニットのモジュール式使用の概略図である。 カメラモジュール、冗長電力及びネットワーク接続、並びにカメラサブシステムユニットのモジュール式使用の概略図である。 カメラモジュールの例示的な断面プロファイルである。 カメラモジュールの例示的な断面プロファイルである。 カメラモジュールの例示的な断面プロファイルである。 カメラモジュールの例示的な断面プロファイルである。 カメラモジュールの例示的な断面プロファイルである。 フレキシブルカメラモジュールの概略図である。 棚の光学観察を増強する際に使用されるレンズの図である。 カメラカバレッジ、及びカメラによって収集された棚に対するカメラカバレッジオーバーラップの概略図である。 カメラカバレッジ、及び補正光学システムの使用後の、カメラによって収集された棚に対するカメラカバレッジオーバーラップの概略図である。 カメラカバレッジ、及び補正光学システムの使用後の、カメラによって収集された棚に対するカメラカバレッジオーバーラップの概略図である。 カメラカバレッジ、及び補正光学システムの使用後の、カメラによって収集された棚に対するカメラカバレッジオーバーラップの概略図である。 異なるカメラモジュール変形例の例示的な照明統合フォームファクタである。 異なるカメラモジュール変形例の例示的な照明統合フォームファクタである。 異なるカメラモジュール変形例の例示的な照明統合フォームファクタである。 運用上の冗長性のためのカメラモジュールコンポーネントアーキテクチャの概略図である。 運用上の冗長性のためのカメラモジュールコンポーネントアーキテクチャの概略図である。 カメラモジュールを接続する、電力及びネットワーク接続ケーブルの概略図である。 監視ネットワーク分岐の概略図である。 接続ポートの概略図である。 例示的な配線管理ソリューションの概略図である。 スプリットフィールド光学システムの変形例の一般化された概略図である。 スプリットフィールド光学システムの変形例の一般化された概略図である。 スプリットフィールド光学システムの変形例の一般化された概略図である。 スプリットフィールド光学システムの変形例の一般化された概略図である。

実施形態の説明
本発明の実施形態の以下の説明は、本発明をこれらの実施形態に限定することを意図するものではなく、むしろこの発明を当業者が作成及び使用することを可能にすることを意図するものである。

１．概要
環境にわたるユビキタスビデオ監視のシステム及び方法は、特にビデオ及び静止画像などのメディアを収集するために、カメラのネットワークが効率的に設置及び動作できるように機能する。システムが収集したメディアは、大規模コンピュータビジョン（ＣＶ）駆動のアプリケーションで使用されることが好ましい。システム及び方法は、好ましくは、環境の天井領域に沿った、又は天井領域から吊り下げられた複数のカメラモジュールのセットアップを含む。システム及び方法は、環境の他の領域及び／又はインフラストラクチャにわたる設置を代わりに含んでもよい。システム及び方法の特定の属性は、簡単に設置できるカメラモジュールの使用であり、カメラモジュールは、デイジーチェーン化されるか又は他の方法で接続されて、監視ネットワークを形成することができる。商業空間又は適切な環境内で使用する場合、監視ネットワークを、詳細な視覚的監視のために天井及び他の領域にわたって配置させることができる。他の設置アプローチを、追加的に又は代替的に、システム及び方法と共に使用することができる。

システムは、複数のビデオ監視ノードに対するネットワークとして主に説明されている。本明細書で使用される「ビデオ」は、ＮＴＳＣ、ＰＬＡ、ＭＰＥＧ、４Ｋ、ＨＥＶＣなどの一般的なビデオフォーマットを意味する場合がある。ビデオはまた、経時的な場所が単調な、個々の静止画像のシーケンスを意味する場合がある。同様に、これらの画像は、Ｒａｗ、ＪＰＧ、ＰＤＦ、ＧＩＦ、ＢＭＰ、ＨＥＩＦ、ＷｅｂＰ、及び／又は他の適切なメディアフォーマットを含む、広範囲なフォーマットであり得る。

システムは更に、シングルカメラ及び／又は音声監視に適用することができ、加えて、独立して又はビデオ監視と組み合わせて使用できる他の形態の検知を含んでもよい。これらには、ライダ、ソナー、赤外線、紫外線、無線周波数、静電容量、磁気、スケール、圧力、ボリューム、気候感知などが含まれ得る。

同様に、システム及び方法は、追加的に又は代替的に、環境にわたって他のコンピュータ入力又は出力デバイスを配置させる際に使用することができる。システム及び方法は、ビデオ及び／又は画像データに加えて又はその代わりに、センサデータの収集及び／又は出力の生成に使用することができる。マイク、Bluetoothビーコン、スピーカ、プロジェクタ、及びその他の適切なデバイスなどの他の形式のデバイスを、追加的に又は代替的に、環境にわたって設置され得るシステムモジュールに統合することができる。本明細書では、画像ベースのビデオ監視に関連するときの、システム及び方法を主に説明する。

システム及び方法は、環境にわたってユビキタス監視を利用するアプリケーションに使用されることが好ましい。本明細書では、ユビキタスモニタリング（又はより具体的には、ユビキタスビデオモニタリング）が、環境内の関心領域にわたる広範なセンサ監視を特徴付けている。ユビキタス監視は、一般に、領域の不連続性がサポートされ得るが、実質的に連続していることが好ましい広いカバレッジ領域を有する。加えて、監視は、実質的に均一なデータ解像度で監視できる。

一例では、広いカバレッジが、監視対象の表面積の９５％よりも大きいものとして特徴付けることができる。ショッピング環境では、これは、棚及び製品ディスプレイ、並びにショッピングフロアが監視されることを意味し得る。

実質的に均一なデータ解像度は、環境における異なる領域の画像解像度の変動性がターゲット範囲内にある検知構成を記述することが好ましい。自動チェックアウトＣＶ駆動型アプリケーションの典型的な場合では、画像解像度のターゲット範囲は、製品識別のための製品パッケージの詳細を解明するのに十分である。

ユビキタス監視には、任意選択的に、冗長監視の特性を含むことができる。これには、複数の優位な場所からの冗長カバレッジを有することを含んでもよい。例えば、棚上のアイテムは、適切な製品識別解像度を有する２台の異なるカメラによって、及びカメラが異なる視点からアイテムを視認する場所で、可視状態になり得る。食料品店のような環境では、これは、いくつかの例示的な実装では、通路ごとに１０～２００台のカメラが配置されることを意味し得る。

システム及び方法には、大規模な環境に対して特定の潜在的な利点があり得るが、システム及び方法には、小さな環境内で潜在的な利点及びアプリケーションがある。異なる環境への適応性は、システム及び方法の典型的な利点である。

システム及び方法は、任意の適切なビデオ監視アプリケーションに使用できる。特に、システム及び方法は、自動セルフチェックアウト、在庫追跡、セキュリティ監視、環境イベント検出及び追跡、及び／又は他の適切なアプリケーションを含み得るＣＶベース計算アプリケーションに対するものである。

本明細書では、システム及び方法の主要で例示的なアプリケーションとして自動チェックアウトが使用されるが、任意の適切なアプリケーションが使用されてもよい。自動チェックアウトは、主に、顧客（又は顧客グループ）のショッピングプロセス中に仮想カートを生成又は維持するシステム又は方法を特徴とし、顧客が店舗を出るときやチェックアウトの準備ができたときに所持品を知ることを目的とする。本明細書で説明されるシステム及び方法を使用して、顧客用のアイテム別チェックアウトリストを自動的に生成することができる。自動チェックアウトシステムは、追加的に、ショッピングカートの合計に対して顧客のアカウントに自動的に課金することができる。自動チェックアウトシステムを代わりに使用して、支払い用にアイテムの入力を促進することができる。

システム及び方法を代わりに使用して、図書館、レンタル店、倉庫、又は任意の適切なアイテム保管施設などでの顧客による商品の撤去を把握してもよい。システム及び方法を代わりに使用して、ロケーションへのアクセスを許可又は制限し、又はそのようなアクセスに対して課金してもよい。システムは、食料品店、コンビニエンスストア、マイクロコマース及び無人店舗、バルクアイテムストア、薬局、書店、倉庫、ショッピングモール、市場、及び／又は商品若しくはサービスの商取引又は交換を促進する任意の適切な環境などの、多岐にわたるショッピング環境で作動するように作成することができる。別のケースでは、システムを、法執行又は同様のシステムと組み合わせて使用して、システムのルールに従っていない個人を特定することができる。

１つの潜在的な利点として、システム及び特にカメラモジュールを、容易に設置してアクティブ化することが好ましい。物理的に、カメラモジュールは、多くの店舗で使用されている標準器具を使用して取り付けることができる。いくつかの例では、これは、照明システムのインフラストラクチャなどの既存の店舗インフラストラクチャを使用すること、及びカメラモジュールの設置用にインフラストラクチャを再利用することを含み得る。他の例では、契約者及び電気技師が、照明システム及び他の一般的なデバイスを設置するのになじみ深い、標準的なデバイス設置を伴う場合がある。いくつかの変形例では、デバイスの設置は、従来の照明器具の設置の構造的な課題と実質的に類似している。

エレクトロニクスの観点からは、カメラモジュールをケーブルのセットで一緒に接続するだけでよい場合がある。いくつかの変形例では、これには、データケーブルと電力ケーブルのセットが含まれ得る。いくつかの変形例では、これには、パワーオーバーイーサネット（ＰｏＥ）ケーブルやカスタムケーブルの使用など、データ及び／又は電力接続用の単一の統合ケーブルが含まれてもよい。

システム及び方法は更に、カスタマイズされた構成よりも自動構成を優先する。カメラモジュールは実質的に自己初期化でき、カメラモジュールのネットワークは自己組織化して環境ビデオ監視を調整することができる。自己較正及び構成により、システムを設置する作業者のトレーニング量を最小化することができる。そのような容易なセットアップは、コンピュータビジョン監視機能を用いて、環境を迅速にオンラインにするのを可能にするために重要である。加えて、環境内でのカメラの向きと配置は必ずしも正確にはできない。カメラモジュールのフォームファクタにより、望ましいユビキタス監視に対するデバイスのアライメント及び配置を簡素化することができる。カメラアライメントは、標準的な契約者の設置における通常許容範囲内の仕様で設計できる。加えて、自己構成により、カメラモジュールを個別に起動及び構成するための専門技術者への依存が軽減される。個々の視野を計画及び較正することにより各カメラの有用性を最大化するのとは対照的に、システム及び方法は、カメラでエリアを「飽和」させ、環境内のカメラトポロジを自律的に検出することによって較正に対処できる。このシステムは、環境内で高密度画像化システムを作成する際に使用できる。このようにして、カメラモジュールを設置する作業者は、カメラの正確な向き及び配置について心配することを軽減できる。

関連する潜在的な利点として、システム及び方法は更に、より簡単にメンテナンスできる。システム及び方法の様々な潜在的な実装により、様々なシナリオに対処して、システム問題への対応及び／又はシステムの更新を簡素化することができる。いくつかの変形例では、カメラモジュールに設計されたコンポーネント冗長性により、冗長データ及び／又は電力システムにフェールオーバすることによって、監視ネットワークが個々の障害に対して回復力を持つことを可能にすることができる。これにより、システムの稼働時間を増大させることができる。別の変形例では、設置されたカメラモジュール（例えば、適切に機能しないカメラモジュール、又はカメラモジュールの古いバージョン）は、新たなカメラモジュール２００と交換することができる。そのようなカメラモジュールの更新は、他のカメラモジュールでのダウンタイムなしで実行できる。

別の潜在的な利点として、システム及び方法は、カメラ計算モジュールの効率的な構成を可能にすることができる。１つの変形例では、カメラモジュール内のカメラの配置及び向きを介して事前構成された方法で、棚、通路、又は他の関心領域を効率的にカバーするように、一連のカメラの視野を調整することができる。いくつかの変形例では、これにより設置用のカメラの数を大幅に低減することを可能にし得る。加えて、システム及び方法のいくつかの実施形態は、汎用画像化コンポーネントを利用して、環境を装備するための経済的なソリューションを提供することができる。システム及び方法は、小型フォーマットカメラセンサ（例えば、サイズが１／４インチ、１／３．２インチ、１／３インチ、１／１．７インチ、及び／又は他のサイズのカメラセンサを有するカメラ）などのより安価でより汎用的なコンポーネントを使用して運用できる。

別の潜在的な利点として、システム及び方法は、視覚的に目立たなくできる。ケーブルと複雑なコンポーネントの設置を最小限にすることで、システムは標準インフラストラクチャシステムとして環境に溶け込むことができ、環境内の人々にほとんど気付かれずに運用することができる。

別の潜在的な利点として、いくつかの実施形態は、ＣＶベース処理を活用して、帯域幅データストレージの制限に対処することができる。ＣＶベース処理は、ＣＶベースメタデータ抽出、メディア処理、及び階層型ストレージソリューションを伴う動的情報処理を介して、情報保持を強化できる。

２．システム
図１に示すように、好ましい実施形態のユビキタスビデオ監視を環境に装備するシステムは、環境内で取り付けられ、且つ、相互接続されたカメラモジュール２００のセットで構成されている監視ネットワーク１００を含み得る。カメラモジュールのセットの各カメラモジュール２００は、少なくとも１つのカメラ２２０と、少なくとも２つの接続ポート２３０とを含むことが好ましい。監視ネットワーク内で、カメラモジュールのセット（又は少なくともカメラモジュールのサブセット）を接続ポート２３０を介して直列に接続し、ネットワーク隣接カメラモジュールの接続ポート２３０間で物理接続を確立する。このようにして、システムを使用して、共有ネットワーク及び／又は電力接続を有するカメラモジュール２００の接続チェーンを形成することができる。

このシステムは、ユビキタスビデオ監視システムを実装する可能性を高めることが好ましい。このシステムには、設置の容易さ、並びにＣＶ駆動型アプリケーションを提供するための環境の信頼できる監視に役立つ様々な要素が含まれている。いくつかの変形例には、筐体、コンポーネント及び接続冗長性、ホットスワップ機能、補正光学システム、及び／又はその他の機能において、事前構成された配置で取り付けられた複数のカメラが含まれてもよい。説明したように、システムは自動チェックアウトなどのＣＶ駆動型アプリケーションに使用することが好ましいが、他のタイプのアプリケーションにも使用できる。

好ましくは、カメラモジュールは、電力及び／又はネットワーク接続を受け取り、接続されたカメラモジュール２００への電力及び／又はネットワーク接続を中継するための複数の接続ポート２３０を含むデバイスである。カメラモジュール２００は、カメラモジュール２００間のデータ及び／又は電力搬送を提供する１つ以上のケーブルで接続することによって、一緒にチェーン化することができる。１つの好ましい実装では、カメラモジュール２００は、カメラモジュール２００の反対側の端部（例えば、第１の側上の第１の接続ポート２２０、及び第１の側の反対側の第２の側上の第２の接続ポート２２０）上に接続ポート２３０を有する延長プロファイルの筐体本体２１０を有する。延長プロファイルは、経路に沿って（例えば、食料品店の通路を下って）事前構成された配置でカメラの設置をより簡単に促進できるように機能する。１つの好ましい実施形態では、カメラモジュール２００は、イーサネットケーブル又はＰｏＥケーブルによって相互接続された吊り下げ器具である。カメラモジュール２００は、１つ以上のカメラ２２０、及び場合によってはメディアのローカル処理を容易にする計算コンポーネントのセットを含んでもよい。いくつかの場合では、ＣＶベース処理をローカルで実行して、監視ネットワークにわたって通信されるメディアの量を軽減することができる。

いくつかの変形例では、カメラモジュールは、ネットワーク復元性のための冗長データ及び／又は電力接続を含むことができる。電力接続が失敗した場合、冗長電力接続がカメラモジュール２００に電力を供給し続けることができる。同様に、１つの接続で問題が発生した場合、冗長ネットワーク接続がネットワーク接続を維持することができる。加えて、いくつかの変形例では、カメラモジュール２００は、システムが動作を維持している間にカメラモジュール２００を変更できるように、カメラモジュール２００の取り外し及び再設置のためのホットスワップ制御システムを含むことができる。

監視ネットワーク
監視ネットワーク１００は、カメラモジュールネットワークとして接続された複数のカメラモジュール２００中からのビデオメディアデータの収集を調整するように機能する。ＣＶ駆動型アプリケーションは、一般に、１つ以上の監視ネットワーク１００から収集されたデータから動作する。環境内には、いくつかの監視ネットワーク１００（すなわち、サブネットワーク）があってもよい。カメラモジュール２００は、監視ネットワーク１００内で直列に接続されてもよい。カメラモジュール２００は代わりに、監視ネットワーク１００に分岐を含んでもよい。１つの変形例では、監視ネットワーク１００を、ビデオカメラモジュールのみで構成することができる。別の変形例では、監視ネットワーク１００は、他のタイプのセンサーモジュール／デバイスで構成されるノードを更に含んでもよい。

そのようなシステムの監視ネットワーク１００を効果的に構成するために、いくつかの異なる方法がある。１つの好ましい構成では、環境内の監視ネットワーク１００は、カメラモジュール２００のセットの直列接続により形成されるサブネットワークのセットで構成される。直列接続監視ネットワーク（すなわち、デイジーチェーンネットワーク構成）は、カメラモジュールのストリングがチェーンを形成するように、各カメラモジュール２００が少なくとも１つの他のカメラモジュール２００に接続されていることが好ましい。図２に示すように、ネットワークの観点から、一連のカメラモジュールは、各々がいくつかのカメラ接続を有する複数のネットワークノードの直列接続であってもよい。

一般に、チェーンの最初の端部（及び／又は終端部）には、システムの残りの部分に戻る接続を含むことができる。構成には更に、相互接続分岐を含むことができる。例えば、カメラモジュールのデイジーチェーンは、２つ以上の分岐があるように、あるポイントで分割することができる。直列接続に含まれるカメラモジュールの数は、任意の適切な数にすることができる。直列のカメラレールの数は２つだけだが、より一般的には、１０を超えて、（例えば、４０のカメラモジュール、１００のカメラモジュール、１０００以上のカメラモジュール、又は更に多くの）任意の適切な数であり得る。図３に示すように、直列サブネットワークのセットは全て、集中化された計算、及び／又は電力に対して１つ以上のポイントに接続し戻され得る。

別の構成では、監視ネットワーク１００は、各カメラモジュール２００が単一の中央コンポーネントに接続されるように、星形パターンとすることができる。中央コンポーネントは、一次カメラモジュール２００（例えば、ハブカメラモジュール）であり得るが、代わりに、異なるカメラモジュールとインターフェースする代替的な中央コンポーネントであってもよい。

更に別の構成は、２つ以上の端部で接続されるループ又はリングである。上記又は代替的なトポロジの１つ以上の組み合わせもまた可能である。

システムは更に、外部カメラ、画像化デバイス、他の適切なセンサーユニット、及び／又は出力システムと互換性があってもよい。１つの変形例では、カメラモジュール２００は、ＩＰカメラなどの外部カメラとの接続を容易にするための互換性を更に含むことができる。外部カメラ接続は代わりに、ローカル計算システム上の外部カメラインターフェースを介してなど、代替的なチャネルを介して達成することができる。１つの実装では、外部カメラモジュール２００は、カメラモジュール２００の同様の動作コンポーネントを含むことができるが、内部カメラからのビデオストリームの代わりに外部画像化システムの外部ビデオストリームを収集する。筐体本体２１０及びフォームファクタは、様々なカメラタイプとのインターフェースに対応するように変更されてもよい。このようにして、既存のカメラ及び監視システムを改造して、監視ネットワーク１００及びシステムと統合することができる。

監視ネットワーク１００は、環境にわたって分布された方法で設置されることが好ましい。システムは、関心のある被写体に焦点が適切に向けられるように、ビデオ監視のカスタマイズに適応できることが好ましい。多くの例示的なショッピング環境では、関心のある対象には、店舗、及び顧客、作業者、又は他のエージェントが相互作用するエリアに保管及び表示されるような製品が含まれる。本明細書で説明するように、監視ネットワーク１００のカメラモジュール２００を設置及び構成する際に、様々なアプローチを適用することができる。監視ネットワーク１００は、環境内の異なる監視シナリオに対処するために、様々なそのような構成の変形例を使用してもよい。

カメラモジュール
好ましい実施形態のカメラモジュール２００は、環境内に配置された画像化デバイスとして機能する。カメラモジュール２００は、監視ネットワーク１００の構築及びレイアウトにおいて、システムのビルディングブロックの１ユニットとして機能することができる。監視ネットワーク１００は、環境にわたってデータを監視及び収集するように協働するカメラモジュール２００のセットで構成されることが好ましい。より具体的には、監視ネットワーク１００は、物理的に相互接続されたカメラモジュール２００の１つ以上のセットであり得る。カメラモジュール２００は、少なくとも、筐体本体２１０、１つのカメラ２２０、及び接続ポート２３０のセットを含むことが好ましい。カメラモジュール２００は、好ましくは画像監視を容易にするが、加えて、固定／取り付け、ネットワーク構成、システム統合、ＣＶベース処理、及びデータ管理、及び／又は他の適切な態様を容易にする。

カメラモジュール２００の少なくとも１つの変形例では、筐体本体２１０は延長プロファイルを有し、カメラモジュール２００は、天井又は高架構造物から水平に吊り下げられるための取り付け機構で構成される。システムの任意の適切なインスタンス化に使用される複数のカメラモジュール２００があることが好ましい。

監視ネットワーク１００のカメラモジュール２００は、均一なタイプ及び形態のものであってもよいが、異なるカメラモジュールタイプのセットを同様に使用することができる。いくつかの場合では、システムのビルディングブロックの一部として、環境に設置するときの異なる課題に対処するために使用できるカメラモジュールタイプのセットがあることが好ましい。カメラ及び／又は計算コンポーネントなどの機能及び内部要素は、異なるカメラモジュールタイプにわたって実質的に類似していることが好ましいが、筐体本体２１０は、異なる使用に適応するようにカスタマイズされてもよい。１つの実装では、カメラモジュールタイプは、異なるフォームファクタ変形例及び／又は性能変形例を含んでもよい。

異なるフォームファクタは、異なる形状及び／又はサイズがより適切な、異なるアプリケーション及びシナリオに適応することができる。いくつかの例示的な異なるカメラモジュールフォームファクタタイプは、吊り下げカメラモジュール、組み込みカメラモジュール、フレキシブルカメラモジュールストリップ、シングルポイントカメラモジュール、及び／又は任意の適切なタイプのカメラモジュール２００を含むことができる。加えて、これらの各々のサイズ又は形状バリエーションが異なってもよい。

機能のバリエーションにより、監視ネットワーク１００の異なる部分で、異なる機能を可能化して統合することを可能にすることができる。機能のバリエーションには、様々な配置、向き、カメラ数、カメラ角度構成、カメラ光学システム、筐体本体のサイズとフォームファクタ、処理能力、及び／又はカメラモジュール２００の他の適切なバリエーションを有するカメラを含むことができる。カメラモジュールタイプには、長さ、機能、及び／又は他のプロパティに関して、様々な種類があり得る。

１つの変形例では、機能のバリエーションは、通常のカメラモジュール２００、及びハブ、中央、マスタ、又は一次カメラモジュール２００の、２つのカメラモジュールタイプであり得る。一次カメラモジュールは、システムのデータ処理を容易にするために、追加の計算リソースを含んでもよい。追加的な計算リソースは、限られた供給で必要になり、コストに寄与し得るため、監視ネットワークにおいて必要に応じて使用できる専用カメラモジュールとして提供されてもよい。

カメラモジュール２００は、接続ポート２３０のうちの少なくとも１つを介して、カメラモジュール２００とインターフェースする有線導電接続によって相互接続されることが好ましい。接続ポート２３０は、電力及び／又はデータ接続（例えば、ネットワーク接続）を接続することができる。電力及び／又はデータ接続の一方又は両方に対して、無線通信を代わりに使用してもよい。１つの例では、図１及び図３に示すように、カメラモジュールの複数のサブネットワークを統合することができる。

加えて、簡単な構成を容易にするために、カメラモジュール２００が、異なる監視ネットワーク１００構成に対して可能にできる冗長性又はオプションのコンポーネントで設計されてもよい。例えば、一方で有線ネットワークが使用されることが好ましい。カメラモジュールは、カメラモジュール２００又はカメラモジュールのサブネットワークがシステムと無線で通信できるように、Wi-Fiモジュール又は他の無線通信モジュールを更に含んでもよい。追加的に又は代替的に、無線電力供給を使用してもよい。

カメラモジュール２００は、カメラモジュールを直列に接続できるように、少なくとも２つの接続ポート２３０を含むことが好ましい。延長形状を有する筐体本体２１０を用いて、第１の接続ポート２３０を一端部上に配置でき、第２の接続ポート２３０を他端部上に配置することができる。接続ポート２３０は代わりに、任意の適切な配置で（例えば、並んで）配置されてもよい。いくつかの変形例は、監視ネットワーク１００が複数の分岐を含むことができるように、３つ以上の接続ポートを含むことができる。例えば、カメラモジュール２００の１つの端部は、一連のカメラモジュール２１０がカメラモジュール２００のその端部で分岐又は合流できるように、２つの接続ポート２３０を含むことができる。

説明したように、カメラモジュール２００は、システムを介して利用可能なコンポーネントのモジュールのセットの一部であり、特定の環境及び／又はユースケースにカスタマイズされるカメラモジュール２００の構成及び配置のカスタマイズに使用できる。異なる環境及びユースケースには、異なる要件があり得る。環境には、カメラモジュールの間隔と配置に影響を与え得る、様々な静的又は変化する可視性の期待があり得る。同様に、システムのユースケース又は目的は、配置に同様の影響を与える可能性がある。例えば、店舗や倉庫で使用する場合、在庫及び棚のレイアウトは、カメラモジュールを構成する際の要因になり得る。別の例として、詳細な在庫及び顧客との相互作用のためにシステムを使用すると、カバレッジ要件が異なる場合がある。

特にいくつかの変形例では、システムを使用して、棚上のアイテム及びそれらのアイテムとの相互作用を監視することができる。監視ネットワーク内の１つ以上のカメラモジュールの設置構成は、在庫の監視と在庫の相互作用の課題に特に対処するように設計することができる。いくつかの場合では、カメラモジュール２００の設計と機能は、特定の設置計画に合わせてカスタマイズしてもよい。

図４Ａ及び図４Ｂに示すように、デュアルアングル中央カメラモジュール２００を通路の上部領域又は中央領域の上方に配置して、通路の両側を監視することができる。いくつかの店舗には、通路の中央に照明を吊り下げるための既存のインフラストラクチャが存在している。カメラモジュール２００のいくつかの変形例では、照明器具を統合させたカメラモジュール２００を使用することで、ａ）既存の照明器具を交換することによって、カメラモジュールを既存のインフラストラクチャに取り付けることができ、及び／又は、ｂ）システムがカメラモジュールの領域の環境に照明を提供することができる。

図５に示すように、別の設置構成では、店舗の通路の各々の側を走り下る少なくとも２列の接続されたカメラモジュールを有し得る。この変形例では、カメラモジュール２００を棚面の上方、及び好ましくは前（例えば、棚の前５インチから１０インチ）に設置することにより、カメラモジュール２００が、通路に反対側の棚上のアイテムを監視すること、及び顧客がカメラモジュール２００に最も近い棚面に、いつ、おおよそどこで相互作用をするかを監視することの両方を可能にすることができる。１つの実装では、シングルカメラが、図５に示すように、第１の棚面上に入射する視野、及び反対側の棚面の上部領域に入射する視野の反対側の端部を有することができる。別の実装では、デュアルアングルカメラモジュール２００は、第１の棚面が視野内にある第１の向き（例えば下向き）に実質的に向けられた第１のカメラと、第２の／反対側の棚面が第２のカメラの視野内にある第２の向き（例えば斜め外向き）に向けられた第２のカメラとを有してもよい。

他の設置構成もまた使用できる。いくつかの変形例では、カメラモジュールは、棚面又はターゲット領域に対して垂直になるように設置することができる。別の変形例では、図６に示すように、カメラモジュール２００が複数の通路に広がる画像データを収集するように、カメラモジュールを設置することができる。

カメラモジュール本体
好ましい実施形態の筐体本体２１０は、カメラ２２０の取り付け、カメラモジュール２００の計算コンポーネントの取り付け及び保護、及び／又はカメラモジュール２００の他の要素の収容のためのフレームとして機能する。構造体は、計算コンポーネントを含むソリッドケースであることが好ましい。筐体本体２１０は、少なくとも１つの画定されたカメラマウントを有する構造体を含むことができる。カメラモジュール２００の好ましい変形例は、複数のカメラ２２０を含むことができ、複数のカメラ２２０は、異なる画定されたカメラマウントの筐体本体２１０にわたって間隔を空けた配置で取り付けられる。筐体本体２１０は更に、カメラモジュール２００を適所に配置し、固定し、又は物理的に結合することを容易にするように機能する１つ以上の取り付け機構を含むことができる。

構造体は好ましくは囲まれているが、オープントレイなどの代替的なフォームファクタを使用することもできる。構造体は、プラスチック、アルミニウム、スチール、複合材、又は任意の適切な材料など、任意の適切な材料で作成することができる。１つの好ましい実装では、構造体はガラス繊維であり、ガラス繊維は信号干渉を最小化できる。構造体は単一部品の設計にすることができるが、構造体は代わりに、複数の相互接続コンポーネントを含むことができる。

構造体は、カメラ及び計算コンポーネントを保持するための１つ以上の画定された空洞を有する静的要素であることが好ましい。好ましくは、カメラモジュール２００は、環境にわたって「デイジーチェーン」又は「ストリング」カメラモジュールをサポートする。構造体の異なるフォームファクタを使用して、異なるタイプのサイトへの設置に適応することができる。２つの好ましい変形例には、レール構造体、タイル構造体、及び／又はコンパクト構造体が含まれる。

レール構造体の変形例では、構造体は延長プロファイルを有し、構造体の１つの次元に沿った大きさが他の２つの次元よりも大幅に大きい（例えば、長さが、幅又は深度よりも大幅に大きい）。別の方法で説明すると、筐体本体２１０は、図７に示すようなレール形状で、図８に示すようなチューブ形状の筐体、又は任意の適切な形状を有することができる。形状は直線であることが好ましいが、湾曲した、弧を描いた、又は角度のある筐体が、延長プロファイルを更に有することができる。延長フォームファクタは、環境内で長期にわたってカメラを配置しやすくするために機能することができる。例えば、所与の長さのスペースに対して、延長フォームファクタは、設置を必要とする長さあたりのユニット数が少なくなり得るため、設置の労力が低減される。

レール構造体の変形例では、異なる長さになり得る。いくつかの例示的な長さは、３～１０フィートの間のいずれかの長さを含んでもよい。いくつかの例では、２～３フィートの筐体本体、５～６フィートの筐体本体、及び９～１２フィートの筐体本体である、異なる長さのセットを使用することができる。任意の適切な長さを、代わりに使用してもよい。

タイル構造体の変形例では、図９Ａに示すように、カメラモジュールを「タイル張り」又は「広げる」ことによって、カメラモジュール２００を配置するために構造体を設計することができる。タイル構造体は、少なくとも１つの実質的に平坦な面を有するフォームファクタの筐体本体とすることができ、したがって、プレート又はシートとすることができる。平面は一般に正方形又は長方形の形状になるが、任意の適切な形状も使用できる。平面は、好ましくは、カメラを露出するために使用され、反対側は、好ましくは、コネクタポートを露出し、任意選択的にカメラモジュールのコンポーネントを収容するために使用される。図９Ａ及び図９Ｂに示すように、構造体の変形例は、カメラモジュール２００が天井タイルインフラストラクチャと互換性を有すように機能してもよい。カメラモジュールは、既存の天井タイルをカメラモジュールのタイルバリエーション（つまり、カメラモジュールタイル）と置き換えることによって設置できる。カメラモジュールタイルは、構造面を、２フィート×２フィート、２フィート×４フィート、又は適切な天井タイルと互換性のあるサイズの形状にすることができる。カメラモジュールタイルは、図９Ａに示すように、Ｔバーへのドロップイン設置、又はドロップ天井に使用される吊り下げ天井器具に適合していることが好ましい。関連する変形例では、構造体は、既存の天井タイル又は材料を、追加又は改造するように設計することができる。この変形例では、カメラがターゲット領域を見るようにカメラ２２０が天井タイル又は材料を介して投影をすべく、カメラモジュールが設計されてもよい。カメラモジュールコンポーネントの一部又は全てのハウジングは、図９Ｂに示すように、サイト外の天井タイルの上方に配置されるように設計することができる。

カメラモジュールのレール構造体の変形例及びタイル構造体の変形例は、カメラの配置が複数の相互接続されたカメラモジュールにわたって実質的に周期的及び規則的であり得る、規則的な方法で配置することができる。図１０に示すように、監視ネットワーク内のカメラのペアが３フィートの間隔を有するように、カメラモジュールレール間に６インチの間隔で、５フィート半のカメラモジュールレールを相互接続できる。

シングルポイントカメラモジュールでは、カメラモジュール２００を別個のポイントに設置できるように、構造体をコンパクトに設計してもよい。シングルポイントカメラモジュールは、シングルカメラマウントを含んでもよいが、図１１に示すように、異なる方向に向けられた複数のカメラマウントを含むことがより好ましい。１つの実装では、シングルポイントカメラモジュールは、吊り下げカメラモジュール２００であり得る。しかしながら、シングルポイントカメラモジュールの取り付け機構は、カメラモジュール２００を固定又は配置するための任意の適切な機構であり得る。シングルポイントカメラモジュールは、有線接続を介して１つ以上のカメラモジュールに接続できるように、本明細書で説明する変形例を含んでもよい。しかしながら、シングルポイントカメラモジュールは特に、有線接続を介して電力のみが供給されるように、無線通信チャネルを代わりに利用してもよい。シングルポイント本体は、図１０のように、カメラモジュールの相互接続が近接していて実質的に相互接続されていない、よりポイントベースの設置用に設計されてもよい。

本明細書では、レール構造体の変形例が例として主に使用されているが、任意の適切な変形例を代わりに使用することができる。

様々なフォームファクタを、環境内に様々な方法で取り付けることができる。筐体取り付け機構は、カメラモジュール２００の外部構造への配置、取り付け、又は物理的結合を容易にする、筐体本体２１０の締結機構又は設計機能であることが好ましい。取り付け機構の性質は、カメラモジュールタイプによって変化し得る。選択した変形例について、以下でより詳しく説明する。

図８に示すように、吊り下げカメラモジュール２００は、天井などのより高い構造から吊り下げられるように構成されたフォームファクタである。吊り下げカメラモジュール２００は、天井領域から環境を監視する際に使用されるのに好ましく、それは照明や看板などの吊り下げ器具を既に活用している商業スペースに対する簡単な解決策であり得る。

吊り下げカメラモジュール２００の取り付け機構は、１つ以上のケーブル接続ポイントを収容することが好ましい。１つの実装では、筐体本体２１０は、２つのケーブルを使用してカメラモジュール２００を天井から水平に吊り下げることができるように、筐体本体２１０の長さに沿って、且つ、反対側上に、２つのねじ付きランプチューブ固定ポイントを含むことができる。別の例示的な実装では、ユニストラット又はケーブル固定機構のような補助構造要素に取り付けるために、取り付け機構（例えば、突出ボルト）が設計されてもよい。

別の変形例では、組み込みカメラモジュール２００は、しっかりと固定されるか、又は別の強固な構造に取り付けられるように構成されていることが好ましい。例えば、隣接する棚の通路を横切って水平方向に広げることができるように、図１２に示すごとく、カメラモジュールを棚に直接取り付けてもよい。組み込みカメラモジュール２００は、吊り下げカメラ取り付け設計の考慮事項の多くを含むことができる。しかしながら、組み込みカメラモジュール２００はユーザにより近接し得るため、組み込みカメラモジュールは、改ざん及び悪用からより厳密に保護するための設計上の考慮事項を含むことが好ましい。取り付け機構は、組み込みカメラモジュール２００を別の構造体に確実に固定できるように、ボルト貫通穴を含むように画定することができる。同様の堅牢性を考慮して、カメラモジュール２００又はカメラを交換するのではなくカメラカバーを交換することによって、カメラマウント領域付近の摩耗に対処できるように、組み込みカメラモジュール２００は、保護カメラカバーを更に含んでもよい。

別の変形例では、システムは、組み込みカメラモジュール２００を吊り下げるか、又は配置するための剛性構造として作用するブレーシング構造を含んでもよい。図１３に示すように、シェルフアダプタ構造は、棚ユニットの最上部の棚に取り付け、レバーを外側に吊り下げて正しい取り付け位置にすることができる。これは、通路に沿った設置を簡素化し、棚面に対するカメラモジュール２００の制御された配置を促進するように機能し得る。

カメラマウントは、カメラが取り付けられる場所として機能する。

１つの変形例では、カメラマウントは、カメラが環境の外側の視界を有することができるように、構造体の空洞又は凹部を画定することができる。１つの変形例では、固定カメラの代わりに、交換可能なカメラユニットがカメラマウントを介してアクセス可能なポートに接続又はプラグインされ、カメラマウントに保持されるように、カメラマウントが、接続されたカメラユニットを更に容易にすることができる。交換可能なカメラユニットにより、カメラのカスタマイズ及びアップグレードが可能になり得る。カメラマウントは、静的に配置できる。或いは、カメラマウントは、物理的操作を介して、又は制御されたカメラアクチュエータシステムを介してのいずれかで再配置できる。取り付け時のカメラアングルのカスタマイズは、（例えば、カメラを所定位置に移動できる）関節機構を介して、又は（例えば、カメラが可能な位置範囲のうちの１つに取り付けられる）静的固定アプローチを介してもよい。１つの例示的な実装では、延長プロファイルを有する筐体本体２１０のセグメントは、カメラの角度を回転させるために筐体本体２１０の中心軸を中心に回転できるカメラマウントセクションを含むことができる。別の実装では、カメラモジュール２００の最終組立の間に、カメラ角度をカスタマイズしてもよい。

カメラモジュールの変形例
１つの変形例では、カメラモジュール２００は、完全なカメラモジュール２００を形成するために接続できる複数のサブアセンブリを含むことができる。一例では、吊り下げカメラモジュール２００は、機械的及び有線コネクタを介して、２つの部分的なカメラモジュールの半分を接続することによって形成することができる。各カメラモジュールユニットには、必要なコンポーネントが含まれていてもよい。或いは、特定のコンポーネント要件が満たされるために、カメラモジュールユニットが組み合わせて接続されている必要があり得るように、いくつかのカメラモジュールが特定のコンポーネントを省略又は含んでもよい。例えば、６台のアクティブなカメラごとに、カメラモジュールアセンブリの任意のセグメントに、特別な処理カメラモジュールユニットを接続する必要がある場合がある。

別のモジュールの変形例として、各カメラモジュール２００は、任意の適切な数のカメラサブシステムユニット２０２（すなわち、カメラモジュールユニット）を組み合わせてカメラモジュールアセンブリを形成できるように、一端部又は両端部上にコネクタを含んでもよい。カメラサブシステムユニット２０２は、ＰＣＢボード又は密閉型計算デバイスなどの計算デバイスであることが好ましい。図１４Ａ及び図１４Ｂに示すように、構造体は、様々な数のカメラサブシステムユニット２０２を取り付けるための内部器具を有することができる。図１４Ａ及び図１４Ｂの例では、異なるサブシステムユニット２０２はそれぞれ、いくつかの数のカメラをサポートし、したがって、カメラモジュール２００内のカメラの数は、密閉型サブシステムユニット２０２の数を選択することによって調整できる。このようにして、異なる環境の課題に対して、カメラモジュールを柔軟にカスタマイズ及び再利用することができる。

構造安定性のため、構造体は、スチール、ガラス繊維、アルミニウム又はプラスチックなどの実質的に硬い材料であり得るが、任意の適切な材料が使用されてもよい。１つの変形例では、筐体本体２１０は、図１５Ａに示すように、ある長さのチューブ、バー、又は他の形式の自己内蔵レールであり得るが、代わりにオープントラフであってもよい。計算コンポーネントは、筐体本体２１０の画定された凹部又は穴内に含まれることが好ましい。構造体の断面は、好ましくは、上方に延在するサブセクション又は構造を含み、これが、内蔵壁として機能し、吊り下げ中に構造的サポートを提供するように機能する。図１５Ａ～図１５Ｅに示すように、様々なプロファイルが使用できる。トラフ設計は、図１５Ｂ及び図１５Ｃに示すように、筐体本体２１０内に含まれるコンポーネントを少なくとも一時的に密閉するためのカバーコンポーネントを更に含んでもよい。構造体の下向きの壁は、意図した角度にカメラを配置するように角度を付けることができる。１つの実装では、直角の押し出し成形バーは、図１５Ｂに示すように、異なる方向を監視するために各面上に向けられたカメラマウントを有することができる。１つの変形例では、角度は調整可能であってもよい。１つの変形例では、構造体は、製造及び／又は設置中にカメラの位置を選択できるように、図１５Ｃに示すように、複数のファセット及び／又はカメラマウントオプションを有するセクションを含んでもよい。カメラがなおも周囲の完全な光学視野を有しながらも機械的に保護されるように、カメラを、図１５Ｄに示すように「プラウド」に取り付けるか、図１５Ｅに示すようにわずかに凹ませてもよい。

１つの代替的な変形例として、フレキシブルカメラモジュールストリップにより、カメラモジュール２００が表面に接着されるか、又は取り付けられることを容易にし得る。剛性材料で作られた構造体とは対照的に、フレキシブルカメラモジュールストリップの構造体は、図１６に示すように、そのジオメトリの大部分に沿って曲げることができる。剛性のある内部コンポーネントを保護するために、いくつかの部分をなおも硬く作成してもよい。１つの好ましい実施形態では、フレキシブルカメラモジュールストリップを単に表面に適用することによって設置できるように、フレキシブルカメラモジュールストリップには、カメラマウントの側面の反対側に接着剤の裏打ちを含む。

カメラ
好ましい実施形態のカメラ２２０は、画像データを収集するように機能する。画像データはビデオストリームであることが好ましいが、代わりに定期的に収集された写真であってもよい。ビデオストリームには、マイクで記録された音声が含まれていても含まれていなくてもよい。カメラ２２０を使用して、代わりに他の形式の画像データを収集してもよい。システムのカメラ２２０は、視覚、赤外線、深度ベース、ライダ、レーダ、ソナー、又は他のタイプの画像の任意の適切な組み合わせを収集することができる。

システム内で使用されるカメラのセット又はシングルカメラモジュールは、様々な解像度、視野、絞り設定、フレームレート、性能、又はその他の機能を有することができる。カメラ２２０は、カメラモジュール２００のカメラマウントに静的に取り付けられることが好ましい。或いは、カメラ２２０及び／又は他のカメラマウントを作動させて、使用中にカメラの向きを変えることができるようにしてもよい。

個々のカメラモジュール２００は、少なくとも１つのカメラ２２０を含むことが好ましいが、代わりに複数のカメラ２２０を含んでもよい。複数のカメラ２２０は、カメラモジュール２００の異なる場所に取り付けることができる。配置が間隔及び相対的方向を特徴付ける構成配置をカメラ２２０が有するように、カメラ２２０は、別個の位置及び／又は方向を有するように取り付けることができる。好ましくは、複数のカメラ２２０は、監視ネットワーク１００又はカメラモジュール２００内の別のカメラ２２０の視野と重複又は非重複であり得る、別個の視野を有するように取り付けられる。１つの実装では、複数のカメラ２２０を、延長カメラモジュール２００の向かい合う両端部に取り付けることができる。カメラ２２０のサブセットは、実質的に同様の視野をキャプチャするように代替的に取り付けられてもよいが、異なる画像化技術を使用している。

カメラ配置の一部としての角度方向の選択時のオプションに単に基づいて、様々な構成を有する様々なカメラモジュール２００のタイプがあり得る。第１の変形例では、カメラの第１のサブセットは、第１の角度方向で取り付けられる。シングルアングルの変形例の一部として、モジュールの全てのカメラは、画像面が実質的に平行である同じ角度方向を有してもよい。マルチアングルの変形例では、カメラの第１のサブセットは第１の角度方向で取り付けられ、カメラの少なくとも第２のサブセットは第２の角度方向で取り付けられる。デュアルアングルの変形例には、角度方向が異なる２つのカメラのサブセットがある。例えば、図４Ａの例示的なアプリケーションに示すように、カメラのあるグループは第１の方向に向けられ、別のグループは第２の方向に向けられてもよい。トリアングルの変形例は、別の共通の変形例であり、カメラの２つのサブセットに対して２つの斜めの角度方向と、カメラのサブセットの１つの下向きの角度方向とがあり得る。任意の数の角度方向を使用してもよい。

カメラは、ターゲット領域に向けられるように角度が付けられていることが好ましい。１つの一般的なシナリオでは、ターゲット領域は、棚、又はより具体的には棚面である。多くの状況では、カメラモジュール２００は、棚面の上方及び前に取り付けられることになる。棚は、店舗と商品のタイプによって高さが異なる。一般に、カメラは対象の棚面領域の上方に取り付けられる。カメラモジュールは、数インチ（例えば５インチ）から数フィート（例えば１５フィート）だけ、棚面から水平方向にオフセットされてもよい。一般に、カメラは、水平方向に棚面から３～８フィート離れた場所にあることになる。カメラは、しばしば、棚の最上面の上方に０フィート（すなわち水平面）から１０フィートの垂直オフセットで持ち上げられる。けれども、カメラは、場合によっては最上部よりも下方になってもよい。１つの状況では、カメラモジュールのカメラのサブセットは、第１の棚面をキャプチャするように構成された角度方向で取り付けられてもよい。

別の状況では、カメラは２つの対向する棚面の間に取り付けられてもよい。カメラマウントの角度方向は、棚面をターゲットとするように構成されることが好ましい。より具体的には、カメラのサブセットは、図５に示すように、カメラモジュールが第１と第２の棚の上方及び間に取り付けられたときに、第１の棚の第１の棚面と第２の棚の第２の棚面とをキャプチャするように構成された角度方向で取り付けられることが好ましい。一般に、第１と第２の棚は互いに向かい合う。このようにして、シングルカメラは、その視野に２つの棚を有することができる。第１の棚は、製品を識別し、及び／又は顧客によるアイテムの相互作用を検出するために、キャプチャされてもよい。同様の理由で第２の棚をキャプチャできるが、棚での相互作用のイベントがいつ発生するかを検出するために、更に監視されてもよい。

１つの好ましい変形例では、カメラ２２０はカメラペアとして取り付けることができ、カメラのサブセットが深度計算を実行できるように機能する深度知覚配置でペアリングされる。深度検知及び推定は、追加的に又は代替的に、シングルカメラ深度予測を含む代替技術を使用して実行することができる。カメラペアの深度知覚配置は、好ましくは１～１０センチメートル離れた間隔であるが、任意の適切な間隔が使用されてもよい。複数のカメラペアは、筐体本体に沿って配置されることが好ましい。例えば、６フィートのカメラレールは、３フィート離れた２つのカメラペアを第１の方向に向けることができる（この例では、第１のアングルカメラと呼ぶ）。マルチアングルカメラの変形例では、２つの追加のカメラペア（この例では、第２のアングルカメラと呼ぶ）をそれぞれ、第２のアングルカメラペアが同様に３フィート離れるように、第１のアングルカメラペアのうちの１つの側に沿って配置してもよい。第２のアングルカメラは、第２の角度に向けられている。Ｎ－アングルカメラを使用してもよい。

カメラ２２０は、監視対象物をより良くターゲット化するように機能する、光学システム３２０を更に含むことができる。カメラ２２０は一般的な監視を提供し得るが、ＣＶ駆動型アプリケーションのカメラ２２０は、環境内の特定の領域の画像データを収集するようにカスタマイズされると、特定の利点を有することができる。例えば、自動チェックアウトの使用シナリオでは、吊り下げカメラモジュールは棚アイテムの画像データを確実に提供できることが好ましい。カメラモジュール２００が吊り下げられると、棚の平面は一般にカメラ２２０の視野から斜めになるため、棚と製品のキーストーン歪み効果を生じる可能性がある。加えて、カメラの焦点プランは一般に棚に平行とはならず、カメラがある領域に焦点を合わせているにもかかわらず、棚の一部が焦点から外れている場合がある。いくつかの例では、アイテムの焦点の程度と焦点の外れが問題にならない場合がある。

補正光学システム３２０は、カメラ画像化面と対象面との方向のずれを補正することを容易にすることができ、これによって、歪みを軽減し、及び／又は関心領域の焦点を改善することができる。光学システム３２０は、カメラの焦点面を光学的にシフト及び／又はチルトさせて、ターゲット被写体を画像化する際に、歪み及び／又は焦点の一部に対抗することが好ましい。ＣＬＡＩＭ－１６Ａ補正チルトシフト（例えば、シャインプルーク）光学システムは、対象の平面（例えば、棚の前面）に整列できるくさび形の被写界深度を作成できる。いくつかの変形例では、補正光学システムは光学シフトを適用してもよく、これによって歪みを補正できる。追加的に又は代替的に、光学システムは、チルトを適用して、焦点面を変更し、棚面のターゲット領域とより良く整列させることができる。これは、製品を底部から最上部まで焦点内に配置させるために使用できる。図１７に示すように、カメラの画像化面に対してレンズを非平行に配置したり又は傾けたりして、棚の視界に対する画像化を補正することができる。図１７は、１つのオプションの光学システムの基本原理をより良く示すため、縮尺通りではない。複合レンズ又は他の光学セットアップを、追加的に使用できる。追加的に又は代替的に、ライトフィールドカメラ若しくはプレノプティックカメラに使用されるレンチキュラーレンズ若しくは代替レンズなどの他の光学システムの変形例、複数の有向カメラの使用、又は他の適切なカメラ及び／若しくは光学システムを、特定のターゲット用の画像データ収集の適合に使用することができる。

光学システムの多くの変形例を適用してもよく、以下のセクションでより詳細に説明する。

補助コンポーネント
カメラモジュール２００は、追加の又は強化された検知若しくは機能を提供する際に使用される、他の補助コンポーネントを更に含むことができる。補助コンポーネントには、マイク、スピーカ、エリア照明、プロジェクタ、通信モジュール、測位システムモジュール、及び／又はその他の適切なコンポーネントが含まれてもよい。

１つの変形例では、カメラモジュール２００は、分散音声感知アレイを作成できるようにマイクを含むことができる。音声感知は、異なる場所からの音声入力を識別、位置特定、収集する際に使用できる。例えば、マイクを有する監視ネットワーク１００は、環境内の位置を判定するために、音を三角測量することができる。これは、ＣＶベース追跡を容易にするために使用できる。或いは、これは、システムとの音声ベースの対話を可能にするのに使用できる。１つの変形例では、監視ネットワークを介して提供されるマイクアレイを使用して、店内音声インターフェースを容易にすることができる。例えば、顧客は、店舗内の任意の場所から音声コマンドを発行でき、これにより、検出された音声コマンドをそのコマンドを発行するユーザエンティティ又はアカウントに関連付けるために使用され得るＣＶ駆動型アプリケーションと同期できる。１つの実装では、マイクアレイは、この参照によりその全体が本明細書に組み込まれている、２０１７年９月２７日に出願された米国特許出願公開第１７／７１７，７５３号で論じられているように、音声源に対する差動的位置特定、処理、修正、及び応答に使用されてもよい。

別の変形例では、カメラモジュール２００は、音声出力を可能にするように機能し得る統合スピーカを含むことができる。１つの実装では、これにより、環境にわたって単に音声を再生するように使用してもよい。スピーカは、監視ネットワークにわたって個別に制御可能であることが好ましく、ターゲット化された音声を異なる領域で再生できる。自動ショッピングエクスペリエンスでは、これを、買い物客が店舗内で追跡されるときに、拡張音声エクスペリエンスの提供に使用できる。デバイスを構成又は保守するときのヒューマンコンピュータインターフェース出力として、スピーカを更に使用できる。例えば、カメラモジュール２００は、カメラモジュール２００がエラー状態になったときに、音声信号を再生するように設定することができる。

別の変形例では、カメラモジュール２００は、一般的な照明を提供するように機能する照明システムを含むことができる。照明システムは、統合照明を含むことができる。統合照明は、ＬＥＤ照明、又はカメラモジュール２００に組み込まれている他の適切な光源であり得る。或いは、照明システムは、外部照明を接続できるように照明器具のセットとすることができる。いくつかの変形例では、照明器具は、蛍光灯、ＬＥＤ照明、白熱灯、ＣＦＬ照明などの従来の照明に給電するように設計され、システムによって設置及び給電することができる。統合照明システムは、照明システムとカメラシステムとを個別にセットアップする必要がないことにより、店舗のインフラストラクチャを最小限にすることを可能にできる。いくつかの例では、既存の照明をサポートし、任意選択的に給電するために使用される構造インフラストラクチャを、カメラモジュール２００の固定及び／又は給電のために再利用することができる。統合照明にＬＥＤ照明が含まれる場合、カメラモジュール２００及び監視ネットワークを設置することにより、環境照明のアップグレード、並びに高度な監視及びＣＶ駆動型アプリケーションの追加に役立つことができる。図１９Ａに示すように、筐体本体２１０は、照明システムの統合をサポートするように調整することができる。

或いは、カメラモジュール２００は、既存の照明器具に取り付けることができるようなフォームファクタを有することができる。例えば、図１９Ｃに示す「蛍光管」カメラモジュールのフォームファクタ、又は図１９Ｂに示す「電球」のフォームファクタを、カメラモジュールを所定の位置に固定し、照明器具に挿入することによって給電できるように使用することができる。照明システムの統合により、カメラモジュール２００が通常光のような光をなおも提供できるようになり得るが、カメラモジュール２００の検知及び計算機能により強化することもでき得る。これらの変形例は、無線で通信するか、又は電気器具に挿入すると露出するネットワーク接続ポートを有してもよい。

照明は更に、システムによって動的且つ個別に制御できる。オン／オフ状態、明るさ、色、方向性、及び／又は他のプロパティを個別に制御できる。システムを介して提供されるＣＶ駆動型機能と組み合わせて、環境内の観察オブジェクトに基づいて照明を自動的に調整することができる。１つの例示的なアプリケーションでは、夜間に店舗内で使用される省電力モード中に、環境内にいる人々（例えば、作業者など）の場所に基づいて、照明を自動的にオン及びオフにし、又は調光できる。

別の変形例では、カメラモジュール２００は、構造化された照明を投影するように機能するプロジェクタシステムを含むことができる。プロジェクタシステムを使用して、画像を異なる場所に投影することができる。システムのカメラは、様々なアプリケーションで使用できるＣＶ駆動型センシング入力として使用することが好ましく、プロジェクタシステムは、カメラからの計算入力を補完するシステム出力として使用できる。プロジェクタは個別に制御でき、同様に、ＣＶ駆動型アプリケーションと組み合わせて使用できる。

別の変形例では、カメラモジュール２００は、環境内の通信又はデータネットワークを容易にするように機能する通信モジュールを含むことができる。通信モジュールは、環境内で無線インターネットを提供するために使用されるWiFiルーターであり得る。或いは、通信モジュールは、Bluetoothビーコン又は他のアプリケーションに使用されるBluetoothモジュールとすることができる。任意の適切なタイプの通信モジュールをカメラモジュール又はモジュールの一部に統合して、環境内に無線通信チャネルを提供することができる。

関連する変形例では、カメラモジュールは、環境内のローカルな配置のための機構として作用するように機能する配置システムを含んでもよい。例えば、ＲＦベース測位システムを使用して、環境内のＲＦＩＤタグを追跡できる。

環境条件センサ（例えば、煙探知器、ＣＯ２モニタ、温度、湿度、大気質など）、又は異なる機能のための他のコンポーネントなど、他の代替的なセンサ及びデバイスを追加的に含むことができる。

１つの変形例では、カメラモジュール２００のコンポーネントは、運用上の冗長性のために構築及び設計することができる。デイジーチェーン接続の変形例では、システムは、たとえ１つのカメラモジュール２００が故障した場合でも、カメラモジュール２００の動作を維持できることが好ましい。計算及び通信の冗長性により、たとえ１つのセグメントに障害が生じた場合でも、相互接続された一連のカメラモジュールは動作を継続でき得る。１つの好ましい実施形態では、カメラモジュール２００は、冗長電力及び／又は冗長ネットワーク接続を有することが好ましい。電力制御システムは、冗長電力を管理してもよい。ネットワークスイッチ又はハブは、冗長ネットワーク接続を調整してもよい。

１つの実装では、カメラモジュール２００は、デイジーチェーン接続のための各端部上のコネクタ、Ｔ及びＸ形状を形成するための各端部上の第２のコネクタ、及び冗長性のためのコネクタの各ペアの第２のセット（ここでは全部で８個のコネクタ）を含むことができる。ペア群のペアはそれぞれ、ネットワーク（例えば、図２０に示すネット－Ａ及びネット－Ｂ）に収集され得る。ネット－Ａを構成する４つの接続は、ネット－Ｂを構成する接続のように、共通のハブに接続される。次いで、ハブ－Ａ及びハブ－Ｂは、ＣＰＵに接続するハブ－Ｃに順番に接続される。ＣＰＵは、カメラのアレイに接続する。この構成は、任意の単一のコネクタ、又はハブ－Ａ若しくはハブ－Ｂのいずれかの障害に対して、完全に堅牢であり得る。更に、ハブ－Ｃ又はＣＰＵに障害が生じた場合、システム内の他のカメラモジュールへの接続は維持される。

更に強化された代替的な実装では、第２のＣＰＵが追加され、図２１に示すように、２つのＣＰＵの各々に、カメラ要素の２分の１の管理上の権限が与えられる。この実装では、ハブ又はＣＰＵのいずれかに障害が生じた場合、カメラの半分が動作を停止することになる。カメラモジュール２００及び／又はネットワークの構成は、カメラカバレッジの冗長性がいくつかのカメラ障害を処理するのに足りる、かなりの十分なカメラ密度を有することが好ましい。この第２の実装は、ＣＰＵ－Ｂ＆ハブ－Ａ、及びＣＰＵ－Ａ＆ハブ－Ｂの接続を追加することによって更に強化することができる。

加えて、カメラモジュール２００は、システムが生きていて動作している間にカメラモジュール２００をシステムから安全に切断又は接続できるように、ホットスワップ制御システムを含むことができる。ホットスワップ制御システムは更に、短絡及び過電流障害からの継続的な保護を提供できる。ホットスワップ制御システムにより、システムに電力ダウンを要求することなく、システムへのハードウェアの更新及び修正の実行を可能にすることができる。一例として、カメラモジュール２００は、交換する必要がある問題に遭遇する場合がある。メンテナンス作業者は、カメラモジュール周辺のネットワーク及び／又は電力接続を再配線でき（例えば、冗長電力又はネットワーク接続を、後続のカメラモジュール又は計画された交換品とスワップする）、したがって問題を引き起こしているカメラモジュールを取り外せる。それから、ネットワーク及び／又は電力接続を再配線することにより、交換用カメラモジュールを接続用に整え、次いで監視ネットワーク１００にスワップすることができる。
計算コンポーネント

カメラモジュール２００は、ローカル処理の実行、カメラモジュール２００の状態管理、及び／又は監視ネットワーク、他のシステム要素、若しくはリモートリソースとのインターフェースに使用される計算コンポーネントのセットを含むことが好ましい。

計算コンポーネントは、処理用のコンポーネントのサブセットを含むことが好ましい。処理コンポーネントは、カメラモジュール２００の動作状態及び他の動作を管理することができる。１つの好ましい変形例では、カメラモジュールは、収集されたビデオデータのローカル処理を実行するように構成された少なくとも１つの処理ユニットを含む。１つの態様として、処理コンポーネントは、カメラからの画像データを、システムの他のリソースとのデジタル通信のためのフォーマットにトランスコード又は変換するように機能することが好ましい。処理コンポーネントは、汎用処理ユニット、グラフィカル処理ユニット（ＧＰＵ）などの専用処理ユニット、専用コンピュータビジョン若しくはディープラーニングプロセッサ、及び／又は任意の適切な処理コンポーネントを含むことができる。

１つの変形例では、処理コンポーネントで実行される処理は、生画像データをＭＰＥＧビデオフォーマットなどの圧縮メディアフォーマットに変換することを含んでもよい。別の変形例では、画像データは、時に、生画像データからメタデータ表現に変換されてもよく、ＣＶ分析が画像データから情報を抽出する。メタデータ及び／又はデジタルメディアフォーマットは、他のカメラモジュール及び／又はシステムコンポーネントに通信されてもよい。

１つの変形例では、カメラモジュール２００は、ビデオデータのローカル処理の結果に基づいて、ビデオデータを選択的に通信するように構成されてもよい。メディア変換は、メタデータの「情報品質」に従って動的に設定されてもよい。変換中の結果であるメディアフォーマットの「メディア品質」は、「情報品質」に基づいて間接的に設定されてもよい。例えば、メディアが高レベルの信頼性でメタデータ表現に変換される場合、データストレージ又は帯域幅を節約するためにメディアフォーマットを低減することができる。一例として、動きが検出されない場合、人がいない場合、及び／又は他の適切な条件が満たされる場合、ビデオメディアは保存又は通信されない場合がある。

カメラモジュール２００は、処理ユニット、ＧＰＵ、又は各カメラ用の他の計算要素を含み得るが、代わりに、それらがカメラ間で共有されてもよい。

計算コンポーネントは、ネットワークハブ又はスイッチであり得る、通信制御システムを更に含むことができる。ネットワークスイッチは、カメラハブの内外で、ネットワーク設定及び／又は通信を容易にするように機能する。通信は、カメラモジュール２００の接続ポートへの有線接続を介して実行されることが好ましいが、追加的又は代替的に、無線通信が使用されてもよい。内部又は外部のＤＨＣＰを使用して、ネットワーク構成を監視ネットワーク１００の様々なコンポーネントに配置することができる。ネットワークスイッチは、複数のプロセッサが存在する場合にＤＨＣＰを内部で実行するように構成されたネットワークルータであることが好ましく、カメラルータがネットワーク観点から自己構築できるように、ＩＰアドレスの割り当てを、システムのマスタールータによって内部的に管理することができる。図２に示すように、監視ネットワークのカメラは、そのような一連のネットワークスイッチにわたってグループ化されてもよい。１つの変形例では、ネットワークスイッチは、スパニングツリープロトコル（ＳＴＰ）、又はより好ましくは高速スパニングツリープロトコル（ＲＳＴＰ）の形式を実装できる。他の適切なネットワークプロトコルも、同様に実装できる。

カメラモジュール２００の計算コンポーネントは更に、媒体及び／又はデータの保存に使用できる、オンボードデータストレージ／メモリソリューションを含むことができる。データストレージソリューションは、ハードドライブ、ソリッドステートドライブ、及び／又は任意の適切なタイプのデータストレージソリューションであり得る。データストレージソリューションは、カメラハブからのメディア及び／又はデータの一時的な保管場所として使用することができる。潜在的な長期関連性のため、データストレージが優先されてもよい。

計算コンポーネントは、オンボードメモリ、データポート、又は他のコンポーネントなど、他の一般的なコンポーネントを含むことができる。カメラモジュール２００は、以下で説明するような様々なユーザインターフェース要素を更に含むことができる。

ユーザインターフェース要素
カメラモジュール２００は、構成を簡素化するように設計されることが好ましく、通常の使用中に、カメラモジュール２００との直接の相互作用が必要でなくてもよい。しかしながら、カメラモジュール２００は、情報を出力するか、又はカメラモジュール２００の直接制御を可能にするかのいずれかのためのユーザインターフェース要素を含んでもよい。ユーザインターフェース要素には、ボタン又はユーザの物理デバイス入力要素、ディスプレイ、インジケータライト、音声信号用スピーカなどの基本要素が含まれてもよい。

１つの好ましい変形例では、カメラモジュール２００は、二次デバイスを介してカメラモジュール２００の接続制御を可能にすることができる制御チャネル機構を含むことができる。制御チャネル機構は、手動制御が必要となるまれな状況に対してカメラモジュールが追加のコンポーネントで構築されるのを緩和するように機能することができる。制御及び構成は、カメラモジュール２００のネットワーク接続を介しても実行できることが好ましい。パーソナルコンピュータ、スマートフォン、タブレットなどは、カメラモジュール２００に接続でき、個々のカメラモジュール２００とインターフェースするための媒体として使用できる。物理的接続は、カメラモジュール２００へのネットワーク接続が稼働していないか、又は利用できない状況で使用できる。ユーザは、カメラモジュール２００に直接接続して、診断を収集し、データへアクセスし、構成を更新し、デバイスを制御し、及び／又はカメラモジュール２００と相互作用することができる。制御チャネル接続は、有線コネクタ（例えば、直列ポート、ＲＪ－４５、若しくはＵＳＢ接続）などのケーブル、カメラモジュール２００によって確立されたBluetooth若しくはWi-Fiネットワークなどの無線接続、又は任意の適切な通信チャネルを介して行うことができる。１つの変形例では、カメラモジュール２００のカメラは、カメラモジュール２００へのデータ入力チャネルとして使用されてもよい。例えば、スマートフォンアプリは、構成を設定することを可能にし、次いで、エンコードされたメッセージを、ディスプレイ又はカメラのライトを介してカメラモジュール２００に視覚的に伝達することができる。カメラモジュール２００からの出力が、インジケータライト又は他の適切なフィードバック機構を介して示されてもよい。

接続ポート及び接続
接続ポート２３０は、一連のカメラモジュール２００の直列接続を利用することによって、カメラモジュールの配線を容易にするように機能する。好ましくは、カメラモジュールが電力及び／又はネットワーク接続リレーとして作用できるように機能する２つの接続ポートがあり、ここで、入力電力又はネットワーク接続が１つの接続ポート２３０から受信され、カメラモジュールによって利用され、少なくとも第２の接続ポート２３０に中継される。これは、図２２に示すカメラモジュール２００の直列接続に使用できる。更に、３つ、４つ、又は、任意の適切な数の接続ポート２３０があってもよく、図２３に示すように、追加の接続ポート２３０は、電力及び／又はネットワーク接続の（例えば、Ｔ又はＸ分岐を作成する）分岐配信に使用できる。カメラモジュール２００の異なる接続ポート２３０は、実質的に同じであることが好ましい。接続ポート２３０はまた、任意の接続ポート２３０が電力及び／又はネットワーク接続の入力又は出力（すなわち、給電又は中継）として使用され得る無指向性であってもよい。例えば、カメラモジュール２００が接続される方向は、違いを生じ得ない。或いは、方向性をカメラモジュールの設計に組み込んでもよい。

一例として、（高度な設置の複雑さを伴い得る）店舗を監視するための１００～１０００個の異なるデバイスへの給電及びネットワーク回線を処理する代わりに、カメラモジュールの１～２５の「チェーン」を店舗の監視に使用できる。監視ネットワーク１００の一部であるカメラモジュールのセットは、有線接続を介して相互接続されることが好ましい。有線接続は、電力及び／又はデータ通信を提供するために、カメラモジュールを電気的に結合するのに使用されることが好ましい。カメラモジュール２００は、カメラモジュールのチェーンを接続できるように、少なくとも２つの接続ポート２３０を含むことが好ましい。図２４のカメラモジュール２００の端部面図に示すように、各接続ポート２３０は、カメラモジュール２００の片側に露出されてもよい。第１の接続ポート２３０は、好ましくは、電力及び／又はネットワーク接続を提供するように機能し、一方、第２の接続ポート２３０は、電力への接続及び／又は後続のカメラモジュールへのネットワークアクセスを伝えるように機能する。カメラモジュール２００は、電力及び／又はネットワーク接続が接続ポート２３０に依存しないように設計してもよい。例えば、カメラモジュールレールは、任意の適切な方向で一連のカメラモジュールに接続できる。いくつかの変形例では、カメラモジュール２００は、カメラモジュールのチェーンが異なる方向に分岐できるように、少なくとも３つの接続ポート２３０を含んでもよい。

１つの好ましい変形例では、各接続ポート２３０は、電力接続ポート２３２と通信接続ポート２３４との両方を含む。電力接続ポート２３２は、接続されたカメラモジュールのネットワークにわたって、接続された電力供給ネットワークを形成するように機能する。通信接続ポート２３４は、環境内に取り付けられたカメラのセットにわたって通信ネットワークを形成するように機能する。

１つの代替的な変形例として、接続ポート２３０は、電力接続ポート２３２を含んでもよく、通信を無線で又は別の方法で容易にすることができる。別の代替的な変形例として、接続ポート２３０は、通信接続ポート２３４のみを含んでもよく、電力を別の方法で容易にすることができる（例えば、別個の電力コードを有して）。説明された変形例では、冗長若しくは二次電力接続ポート及び／又は通信接続ポートがあってもよい。冗長接続は、本質的に冗長又はフェールオーバではない場合があるが、ポートの使用が同様に優先順位付けされるか、又は代替的な方法で選択される場合に設計することができる。或いは、何らかのイベントが二次／冗長ポートの使用をトリガしない限り、接続ポートの１つが一次ポートとして使用されてもよい。図２２に示すように、１つの好ましい変形例では、ＤＣ電力接続を接続する２つの電力接続ポート２３２と、２つのネットワークケーブル接続を接続する２つの通信接続ポート１３４とを有することができる。

複数の別個のケーブルは、接続ポート２３０に接続できる。或いは、統合ケーブルを使用して接続ポート２３０に接続し、それによって１つ以上の電力接続ポート及び／又は通信接続ポートを接続することができる。１つの実装では、有線接続はパワーオーバーイーサネット（ＰｏＥ）ポートとすることができる。或いは、有線接続は、ＵＳＢポート（例えば、ＵＳＢ電力供給接続用の）又は任意の適切な有線コネクタとすることができる。別の変形例では、電力とネットワーク接続とをバンドルするカスタムケーブルタイプを使用できる。

電力接続ポート２３２については、カメラモジュール２００は、好ましくは、カメラモジュールのコンポーネントに供給される電力を調整又は管理するように機能する電力制御システムを含む。電力制御システムは、接続ポート間で、電力供給を中継し、又は通過させるように更に機能する。例えば、第１の電力接続ポート２３２を介して受け取られた６０ＶＤＣ電源は、電力制御システム（例えば、電力管理回路）を介して少なくとも第２の電力接続ポート２３２に中継される。第２の電力接続ポート２３２に接続された別のカメラモジュールは、その接続を介して電力を受け取ることができる。電力制御システムは、カメラモジュールのコンポーネント、又はより具体的にはカメラサブシステムユニット２０２のコンポーネントを駆動するために、電圧を１つ以上の所望の電圧レベルにステップダウンすることが好ましい。加えて、カメラモジュールがチェーンカメラモジュール２００の開始領域にある場合、カメラモジュール２００又はカメラサブシステムユニット２０２は、十分な電流負荷を処理するように設計することができる。例えば、カメラモジュール及び／又はカメラサブシステムユニット２０２の電力システムは、接続ポート２３０間で電流を搬送する大電流容量チャンネルを含むことができる。

冗長電力接続ポート２３２を使用すると、電力制御システムは更に、電力接続選択システムを含むことができる。電力接続選択システム（すなわち、電力スイッチシステム）は、使用する電力接続の少なくとも１つを適切に選択するように機能できる。障害又は電流及び／若しくは電圧の低下が生じた場合、電力接続選択システムは、通電中の電力接続の使用に移行する。電力接続選択システムは、設定された電力閾値に基づいて自動的に変化する静的回路設計を介して実装できる。或いは、電力接続選択システムは、電力接続の選択をアクティブに感知及び制御することができる。この変形例では、通信接続ポートの使用を、リモートで監視及び／又は制御することができる。

これに関連して、電力制御システムは、システムの実行中にカメラモジュール及び／又はカメラサブシステムユニット２０２の追加又は除去を管理するために、本明細書で説明するホットスワップコントローラを含むことができる。

追加的又は代替的に、別個の電力ポートを、カメラモジュール２００に含むことができる。１つの変形例では、カメラモジュール２００は、直列接続で使用される電力接続ポート２３０の代わりに使用できる補助電力ポートを含むことができる。いくつかの場合では、監視ネットワーク１００の分岐又はセグメントは、通信接続の電力制限を超えることができるので、電力供給を補うために補助電力接続を使用することができる。同様に、ネットワーク接続が直列に沿って連続し得るように、電力接続ポート２３２を異なる電源に接続することができるが、図３に示すように、複数の電源を使用して、一連のカメラモジュール２００のサブ領域中に電力を供給する。

通信接続ポート２３４については、カメラモジュール２００は、有線ネットワーク接続を上述の通信制御システムに接続することが好ましい。通信制御システムは、カメラモジュールインスタンスの少なくとも１つのカメラから収集されたデータのデータ通信を調整するように構成されることが好ましい。データ通信は双方向に行え、任意の適切な通信プロトコルを使用できる。通信接続ポート２３４は、ＲＪ４５コネクタを有するイーサネット接続ポートであってもよい。通信されるデータには、ビデオメディアデータ、ＣＶ派生メタデータ、カメラモジュールの動作パラメータ、カメラモジュールに中継されるコマンド若しくはデータ、ソフトウェア／ファームウェア更新、及び／又は他の適切なデータ形式を含むことができる。

１つの実装では、カメラサブシステムユニット２０２は更に、図１４Ａ及び図１４Ｂに示すように、カメラモジュール２００上に露出する接続ポート２３０に接続でき、且つ、他のカメラサブシステムユニット２０２に接続できるように、ユニット接続ポート２３６を含むことができる。

システムは、カメラモジュールと統合するか、カメラモジュールと組み合わせて使用できる、配線管理機構を更に含んでもよい。配線管理機構は、複数のカメラモジュールを接続する際に配線管理を容易にするように機能する。１つの変形例では、配線管理機構は、余分な配線を保持及び格納するために使用できる静的構造にすることができる。配線管理機構は、図２５に示すように、配線が接続ポートにおいて接続する場所の近くに、配線の小さなコイルを保持することが好ましい。配線管理機構は、コネクタの近くの配線へのストレスを軽減するように、更に機能することができる。別の実装では、システムは、カメラモジュール２００に接続できる、バネ仕掛けの又は手動で巻き付けられたワイヤコイルを有する、伸縮可能な配線カートリッジを含む。好ましくは、接続している誰かが有線接続をカバーするのに最小限十分なカートリッジを選択できるように、異なる配線長を有するカートリッジのセットが提供されてもよい。余分な配線は、カートリッジ本体内に保管できる。

ローカル及びリモート計算システム
カメラモジュール２００及び監視ネットワークを形成するための接続に加えて、システムは一般に、１つ以上の電源及び計算システムを含むか、それらとインターフェースする。電源は、カメラモジュールに給電するための電流を供給する電源であり得る。計算システムは、中央オンプレミス計算リソースとして機能するローカル計算システムを含んでもよい。ローカル計算システムは、単一のマスターシステムであり得るが、代わりに、連携して動作する複数のオンプレミス計算リソースとすることもできる。ローカル計算システムは、大容量メディアストレージ、及びより集中的な計算機能を容易にすることができる。重要な計算能力に依存する操作は、オンプレミス計算リソースに委任できる。ローカル計算システムは、カメラモジュールのネットワークを更に管理できる。追加的に又は代替的に、システムは、クラウドホスト計算リソースとして機能するリモートコンピュータリソースを含むことができる。リモート計算リソースは、異なる環境間でのデータ共有、コンピュータビジョン及びマシンインテリジェンスの強化、複数サイトのリモート監視、及び／又は他の機能を容易にすることができる。代替的な実装では、中央計算リソースに依存することなく、カメラモジュールを完全に分散した方法で動作させることができる。

３．方法
システムは、システムの様々な機能を容易にするいくつかの動作モードを含むことが好ましい。これらの機能は、新しい環境でのシステムのセットアップ、新しい環境でのシステムの運用、及び新しいシステムの保守など、システムの様々な様相に対処するように機能する。特に、システムの様々な動作プロセスを適用して、監視ネットワークを自動的に較正し、環境内の監視ネットワーク１００のカメラトポロジを較正し、監視ネットワーク内の監視ネットワークにわたってメディアを管理することができる。

通信ネットワークの自動較正
監視ネットワークの通信ネットワークを自動的に較正する方法は、新しいカメラモジュールの登録を効率的な合理化されたプロセスにするように機能する。監視ネットワークは、自己構築され、変化に適応できることが好ましい。新たなカメラモジュール２００の追加、カメラモジュール２００の除去、及び／又はカメラモジュールの再構成は全て、ＩＰアドレスの自動再割り当てをトリガできる。上述のように、カメラモジュール内のスイッチは、内部又は外部のＤＨＣＰを使用して、監視ネットワークの様々なコンポーネントにネットワーク構成を分配することができる。

カメラトポロジの較正
監視ネットワークのカメラトポロジを較正する方法は、カメラの相対的な方向と位置を、少なくともほぼ判定できるように機能する。カメラは、他のカメラへの近接、重複する視野、及び／又は観察可能な視野の相対的な位置を、自動的に検出することができる。複数のカメラにわたる被写体のＣＶベース追跡は、相対的な位置と方向の判定に使用できる。ネットワークトポロジの検出が、更に使用できる。

カメラトポロジの較正には、カメラの視野を環境の絶対位置に較正することを含むことができ、それによって環境内の位置をカメラの観察可能な位置にマッピングするように機能する。１つの実装では、較正ビーコンを環境内で移動することができる。ビーコンは、その絶対位置（例えば、ビルの内部に対するＧＰＳ座標又は位置座標）を記録することが好ましい。ビーコンは更に、ビーコンを視覚的に観察するカメラに絶対位置を関連付けることができるように、視覚的に観察可能なマーカを送信又は表示する。

カメラトポロジの較正を拡張して、環境トポロジの生成を含むことができる。システムがオブジェクト分類機能を含む変形例では、アイテム、人々、構造、及び／又は他の機能の位置を判定することができる。環境トポロジの例示的なアプリケーションとして。店舗は販売アイテムのプラノグラムを生成でき、そのプラノグラムは実質的にリアルタイムで更新することができる。

加えて、監視ネットワークのカメラトポロジの較正は、カメラトポロジの健全性に関するレポートを含むことができる。カメラトポロジの健全性に関するレポートは、カバレッジ内の穴（例えば、カメラに可視性がない場所）の検出を含むことができる。カメラトポロジの健全性のレポートは更に、特定の場所における不要なカメラ冗長性の検出を含むことができる。

監視ネットワーク内のメディア管理
分散ＣＶベースの処理機能中に、監視ネットワーク内のメディアを管理して、データ通信及び計算プロセスを増強するための方法。１つの目的として、メディア管理のための方法は、情報の長期的な分析を実行できるように、観察データを保存することが好ましい。観察データの保存により、観察を様々な形式で保存又は表示することができ得る。

ローカル計算システムにおいてトランクを有するツリー状のネットワークとして、監視ネットワークは、ローカル計算システムへの接続を有することが好ましい。分散ＣＶ処理を使用して、通信されるメディアの量を低減することができる。加えて、メディアをローカルに保存することで、異なるカメラモジュールからオンデマンドでメディアを要求することを可能にすることができる。メディアの管理には、メディア表現の通信を動的に階層化することが含まれるのが好ましい。メディア表現は、様々なメディア及びフォーマットのメディアファイルとすることができるが、追加的に又は代替的に、メタデータ記述を含むことができる。通信の階層化は、カメラの優先順位付けに基づいて行うことができる。カメラの優先順位付けは、画像データの処理（例えば、変化の検出、又は人の存在の検出）、近くのカメラからの方向（例えば、カメラ間の被写体追跡のための）、又は他のリソースからの方向（例えば、ローカル処理システムの優先度、又は何らかの状態変化に基づくカメラの優先度下げ）によって、影響を受け得る。

媒体表現の動的階層化通信の１つの実装には、シーン変更（例えば、モーション）時に画像データを更新することと、ＣＶ処理の信頼性が低い場合に、高品質のメディアデータを通信することと、ＣＶ処理の信頼度が中程度の場合に、品質が低下したメディアデータを補助メタデータを用いて通信することと、ＣＶ処理の信頼性が高い場合に、メタデータのみの表現を通信することと、を含むことができる。ここで、ＣＶ処理の信頼閾値が例示的な条件として使用されているが、代替的又は追加的な条件も使用できる。

同様の階層化はまた、監視ネットワークの異なる場所における観察データのストレージに適用できる。例えば、カメラモジュールは、記憶するデータのフォーマットを変更して適応することによって、そのストレージ容量を増やすことができる。

４．光学強化のためのシステム及び方法
ユビキタスビデオ監視の光学強化のためのシステム及び方法３００は、メディア、特にビデオ及び静止画像を収集するために、カメラのネットワークを効率的に設置及び動作できるように機能する。

システム及び方法３００は、光学システムのセットを適用して、環境の別個の領域の光学画像化を調整された方法で変更することが好ましい。好ましくは、システム及び方法３００は、画像との作業周りの集合的な目標に従って異なるターゲット領域が光学的に変更される環境で、１つ以上のターゲット領域に対する画像データを収集することができる。第１の好ましいターゲット領域は、店舗内のような様々なアイテムを保持し得る、棚の表面である。第２のターゲット領域は、顧客が環境内で移動し相互作用する歩行空間であり得る。他のターゲット領域には、カウンタ、テーブル、ビン、ＰＯＳキオスクのコンベヤベルト、縦型コンピュータキオスクなどがあり得る。

いくつかの変形例では、システム及び方法３００は、複数のカメラを用いて大きな構造又は領域を監視するために使用される。例えば、棚の表面は、複数のカメラで監視され得る。複数のカメラで使用される補正光学システム３２０は、この領域を監視する機能への制御を強化できる。補正歪み及び／又は焦点面調整は、特定のシナリオに対して調整できる２つの例示的な要因である。これは、カメラが棚の上方に取り付けられている場合に特に関連があり得る。

追加的に又は代替的に、光学システムのセットを有するカメラを使用して、シングルカメラユニットから別個の焦点面を作成してもよい。例えば、図２６に示すように、食料品店の通路の上方に取り付けられたシングルカメラは、棚の画像化用に補正された第１焦点面、並びに通路の床を横切って移動している人々及びアイテム用に補正された第２焦点面を有してもよい。

システムは、主にビデオデータの収集について説明されている。本明細書で使用される「ビデオ」は、ＮＴＳＣ、ＰＬＡ、ＭＰＥＧ、４Ｋなどの一般的なビデオフォーマットを意味する場合がある。ビデオはまた、経時的な場所が単調な、個々の静止画像のシーケンスを意味する場合がある。同様に、それらの画像は、Ｒａｗ、ＪＰＧ、ＰＤＦ、ＧＩＦ、ＢＭＰ、ＨＥＩＦ、ＨＥＶＣ、ＷｅｂＰ、及び／又は他の適切なメディアフォーマットを含む、広範なフォーマットであってもよい。

システムは更に、シングルカメラに適用でき、更に代わりに、他の形式の画像検知に適用できる。

上記のように、システム及び方法３００は、環境にわたるユビキタス監視のために設計されたシステムにおいて、特定のアプリケーションを有してもよい。

システム及び方法３００は更に、ビデオ若しくは画像の監視又はキャプチャシステムのみに、一般的な適用性を有することができる。例えば、システム及び方法３００を使用して、カメラシステムが、任意の適切なタイプのアプリケーションのために定期的に商品の棚の画像を効率的に撮ることができるようにすることができる。

システム及び方法３００は、店舗における一般的な状況であるように、棚又は垂直に配置されたアイテムを画像化する特定のアプリケーションを有する。より具体的には、システム及び方法３００は、カメラがターゲット領域の上方に空中視点で取り付けられるときに一般的であるようなオフアングル視点から、棚、棚上のアイテム、又は他のターゲット領域をキャプチャしながら、画像化を強化するために使用することができる。他のシナリオ又はターゲットの被写体を代わりに使用することもできるが、ここでは主な例として棚のユースケースを使用する。

１つの潜在的な利点として、システム及び方法３００は、改善された焦点及び／又は歪み効果を有するカメラシステムを生成することができる。多くの商業環境では、カメラシステムは関心のある領域の上方、又は環境の邪魔にならない他の領域に配置される。そのため、ビデオ監視の対象領域が、カメラシステムのセンサ面に非平行な面に沿うことがしばしば生じる。天井に取り付けられたカメラシステムからの棚の画像化は、そのような例の１つである。棚に積み重ねられたアイテムの焦点は、通常、異なるレベルの焦点を有する持つ場合がある。システム及び方法３００は、棚又は他のターゲット領域の面により接近して整列するように焦点面を補正してもよい。棚面又は他のターゲット領域のキーストーン歪みは更に、従来のアプローチで通常発生する。システム及び方法３００は、棚面のようなターゲット領域に対する透視歪みを低減することができる。これにより、棚面にわたってピクセル密度を均一に、又は少なくともより均一にすることができる。

関連する潜在的な利点として、ターゲット領域の画像化がより均一な方法で制御されるように、構成された配置を用いて複数のカメラにわたって透視補正を適用してもよい。（例えば、台形及び／又は三角形の重なり領域として現れる）棚画像のキーストンオーバーラップがある棚画像をキャプチャするカメラの配置とは対照的に、システム及び方法３００は、図１８Ｂ、１８Ｃ、及び１８Ｄに示すように、ターゲット領域のより平行な画像化に基づいてカメラの配置が設定できるように、歪みを低減又は補正することができる。結果として、オーバーラップから生じるカメラカバレッジ（例えば、オーバーラップの長方形領域）はより均一である。カメラカバレッジは、これによって、１００％カバレッジ、２００％カバレッジ、３００％カバレッジ、又は他の適切なカバレッジ形式などの望ましいカバレッジタイプに基づいて修正することができる。

別の潜在的な利点として、システム及び方法３００は、個々のカメラが別個のターゲット領域のカスタマイズされた画像化を有することを可能にすることができ、焦点面及び／又は歪み補正が画像面の少なくとも１つの領域に適用される。これにより、人々の追跡用にカスタマイズされた焦点距離で地上領域を監視できている間に、透視補正及び焦点面アライメントを用いて棚を監視できる状況で使用することができる。

上記及び下記で説明する変形例では、システム及び方法３００は、店舗内の特定のシナリオを監視するために光学システムがカスタマイズされる場合に、カメラのより効率的な使用という追加の利点を有し得る。環境、特に店舗などの大規模な環境にわたってユビキタス画像化システムを展開する場合、スペースを適切に観察するためのカメラ及びデバイスの数が多数になり得る。カメラ効率は、物理的なコンポーネントのコストを削減し、並びに処理及びストレージのデータ量を削減する際に、重要であり得る。そのため、より効率的なカメラカバレッジ、より良いカメラカバレッジアライメント、ターゲット領域の被写体のより均一なピクセル密度、並びにシステム及び方法３００の光学システムに一部起因する他の要因は全て、カメラ数を削減するように機能し得る。

一例として、光学的強化を使用するシステムは、カメラの数を２５％～５０％削減することができ、これにより、処理、データストレージ、筐体のサイズ／複雑さ、データ及び電力接続のフットプリントがより小さいカメラを駆動するための物理的な計算リソースを節約する。

好ましい実施形態のユビキタスビデオ監視の光学的強化のためのシステムは、異なる領域の協調的監視のために光学画像化をカスタマイズするように構成された光学システムのセットを含むことが好ましい。１つの変形例では、異なる領域は、関心のある１つの連続した被写体のサブ領域であってもよい。別の変形例では、棚及び地面のような異なる領域は、異なる予測を有し得る。

システムは主に、ＣＶ駆動型アプリケーションの課題にカスタマイズされた方法で、異なる領域からの画像データの収集を調整するように機能してもよい。特に、システムは、食料品店、コンビニエンスショップ、又はカメラのイメージセンサに平行ではない画定された平面に沿って並べられたアイテムの棚がある他の適切なタイプの店舗などの、商業施設内での画像化に対するアプリケーションを有する。システムは、マルチカメラ変形例及びスプリットビュー変形例を含み、これらは個別に又は組み合わせて使用できることが好ましい。

マルチカメラ変形例
第１の好ましい変形例では、図１７に示すように、システムは、好ましくは、カメラ３１０のセットを含み、カメラは相対的なカメラ配置で構成されており、各カメラは、少なくとも１つの補正光学システム３２０を含む。マルチカメラの変形例では、カメラ３１０にわたってキャプチャされた画像の関係を把握するために、カメラによる画像化の光学的修正を調整するように機能する。例えば、マルチカメラ変形例では、上述の監視ネットワーク及び／又はカメラモジュールと組み合わせて使用すると、特定のアプリケーションを有することができる。環境にわたる関心対象の画像又はビデオのキャプチャは、より高いレベルのカメラ使用効率で実現できる。例えば、より少ない数のカメラで、棚のより広い領域を監視できる。

変形例は、複数のカメラを使用する軸外カメラシステムから、構造の高解像度ビデオ監視を実行するように機能できる。この変形例は、棚の高さよりも上方に取り付けられたカメラから監視したときに、棚などのカメラに非平行な面を有する長い連続構造の画像をキャプチャすることに対して特に利点がある。このシステムの変形例を介して、ターゲット領域（例えば、棚面）にわたって実質的に均一な画像解像度で、長い棚面を監視することができる。例えば、透視補正後の棚の底部にある被写体のピクセル密度を、最上部の棚にある被写体のピクセル密度とほぼ同じにすることができる。より具体的には、この変形例は、ターゲット領域にわたって実質的に均一な画像解像度で、棚面のようなターゲット領域のビデオ監視を実行することができる。

マルチカメラ変形例は更に、他のカメラアレイアプリケーションでより広範なアプリケーションを有してもよい。ここで、マルチカメラ変形例は、主に、商業空間内での画像化、及び、特に、棚面の前面及び棚面の上方（又は棚面上の関心領域）で水平方向に変位したカメラ位置から棚を監視するアプリケーションに対処する。それらに説明されているような他の適切なシナリオでは、代わりにこのマルチカメラの変形例を使用することができる。

カメラ３１０は、環境の画像をキャプチャするように機能する。カメラ３１０は、少なくともカメラセンサを含むことが好ましい。１つの変形例では、カメラ３１０は、単一の接続された構造に統合されてもよい。１つの実装として、カメラ３１０のセットは、上述のように、カメラペアとして時にグループ化されるカメラモジュールに統合されてもよい。更に、複数のカメラモジュール及び／又は他のマルチカメラデバイスは、カメラ３１０のセットが組み合わせて動作する複数の別個のデバイスを含むように、整列し、接続し、又は配置することができる。したがって、別の実装では、システムは、上述のように相互接続されたカメラモジュールの監視ネットワークを含んでもよく、各カメラモジュールは、カメラのセットからの別個のカメラのサブセットを構成する。

１つの好ましい配置として、カメラのセットは、（期待されるカメラ取り付け構成に対して）対応する角度方向で配置される。カメラのセットは、同一平面上の配置で、画定されたセンサ面に向けられてもよい。より具体的には、カメラの画定されたセンサ面は、いくつかの期待される許容範囲内で同一平面上にあり得る。例えば、カメラの列を列に沿って取り付け、棚の異なる位置に向かって同じ概略方向に向けてもよい。別の変形例では、カメラの配置は、円弧又は任意の経路のようないくつかの経路に沿った接線角度方向を有するカメラであるようにすることができる。例えば、カメラのリングが円形の棚を囲んでもよい。

ビデオ又は画像データは、カメラ３１０のセットから収集され、中央処理システムに通信されることが好ましい。

補正光学システム３２０は、環境の画像化を変更又は変換するように機能する。変換は、環境内の目的に合わせてカスタマイズすることが好ましい。この変換には、透視補正、焦点面調整、焦点距離の設定、及び／又は他の適切な視野調整が含まれてもよい。

棚を監視する場合では、補正光学システム３２０は、透視補正で構成されることが好ましい。棚面の上方のカメラでキャプチャされる際の棚は、遠近歪みと共にキャプチャされることになり、その結果、棚の最上部はピクセル密度解像度が大きくなり（例えば、より大きく表示され）、棚の底部はピクセル密度解像度が低くなる（例えば、より小さく表示される）。

補正光学システム３２０は、透視補正光学システムとすることができる。１つの実装では、透視補正光学システムは、シフトレンズ光学システム、又はより好ましくはチルトシフトレンズ光学システムであり得る。レンズのシフト及び／又はチルトは、通常の歪みを打ち消し得る補正歪みを生成することができる。これは、単一レンズ光学システムであってもよいが、代わりに多段光学システムを含んでもよい。棚のキャプチャ画像は、図８Ｄに示すように、キーストーンを低減することで、より好ましくは、図１８Ｂに示すように、実質的にキーストーンを除去（例えば、棚の垂直エッジが５度以内で平行に）することで補正できる。透視補正は、様々な状況に対して調整できる。例えば、アイテムの長いビンを監視する場合、透視補正光学システムは、ビンの水平面のキーストーンに対して補正できる。講堂の座席など、非垂直（例えば、重力で定義された方向）の角度にある領域を監視する場合、斜めに整列された表面に対して透視補正を同様に適用できる。

透視補正を介して提供される一連の強化として、透視変換を、棚面のようなターゲット被写体の透視歪みを低減するように構成することができる。棚面の場合、結果として得られる棚面のキャプチャ画像の画定された垂直側面は、垂直から２度未満の角度になる。しかし、任意の適切なレベルの修正が、代わりに使用されてもよい。

同様に、棚（又はターゲット領域）の画像解像度が透視補正の結果として変更され、ターゲット被写体にわたって画像解像度の均一性を向上することができる。例えば、図１８Ｂのキャプチャ画像は、最上部の棚の被写体と比較して、同様のピクセル密度で画像化された底部の棚における被写体を有することになる。

補正光学システム３２０、及び、より具体的には少なくとも透視補正光学システムを使用する１つの潜在的な利点は、棚面又は他の適切なターゲット領域のカメラカバレッジをより良く管理できることであり得る。透視補正光学システムが配置されたカメラのセットにわたって適用される場合、隣接するオーバーラップが光学補正システムとカメラ配置との調整を介して制御されるように画像面を変換できる。より具体的には、チルトシフト光学システムは、少なくとも透視変換を適用するように構成でき、一方、相対的なカメラ配置及び透視変換は、ターゲット被写体（例えば、棚面）を画像化するように協調して構成される。

隣接するオーバーラップ（例えば、隣接するカメラによるカメラカバレッジのオーバーラップ）は、棚面の垂直面にわたって一致したカメラカバレッジのために制御することができる。補正されない場合、キーストーンは異なるレベルのカメラカバレッジの結果となり得る。図１８Ａに示すように、棚のカメラカバレッジは、棚面の上方及び前に取り付けられたカメラモジュール２００によって視認した場合に、補正されないときは小さな冗長性及び非常に高い冗長性を有するカバレッジ領域を有することができる。この図では、より暗い色の領域が、カメラのカバレッジのオーバーラップ又は冗長性の程度を示す。この例では、底部領域は時に、４００％、３００％、２００％、又は１００％のカメラカバレッジを有するが、棚の最上部は２００％又は１００％であることがわかる。そのような冗長性は、多くの状況で許容され得るが、いくつかのシナリオでは、カメラカバレッジをより制御することから利点を得ることができる。

補正により、ターゲット被写体における画像面のオーバーラップは、透視補正なしの画像面と比較して、長方形あるか又は少なくともより均一（例えば、キーストーンが低減された）であることが好ましい。

光学システム及び相対的なカメラ配置は、カメラカバレッジの隣接オーバーラップの異なるレベルに対して協調的に構成できる。より具体的には、光学システム及び相対的なカメラ配置の透視変換は、あるレベルの隣接するカメラオーバーラップから構成される。１つのターゲットオーバーラッププロファイルは、１００％カメラカバレッジ、２００％カメラカバレッジ、３００％カメラカバレッジ、及び／又は任意の適切な変形例をターゲットにしてもよい。構成されたオーバーラップは、期待されるカメラの取り付け位置に基づいてもよい。棚のユースケースでは、カメラのセットは通常、棚面の上方及び前に取り付けられる。

最小化する変形例では、ターゲット被写体のカバレッジは、ターゲット被写体の１００％カバレッジを有するように設計してもよい。理想的な隣接オーバーラップを、オーバーラップのない完全なアライメントのために構成することができる。しかしながら、通常の状態では、変動を許容するために、ある程度の隣接オーバーラップが好ましい場合がある。したがって、間の隣接オーバーラップは一般に２５％未満になるように構成され、いくつかの実装では、１０％以下になるように構成されてもよい。図１８Ｂに示すように、カメラの離間配置は、隣接するカメラオーバーラップを画像化された棚面の４分の１未満となるように整列させるように構成することができる。これにより、冗長性を最小化するように機能することができ、カメラの数を低減することができる。

図１８Ｃに示すように、カメラの離間配置は、代わりに、隣接するカメラオーバーラップを整列させて、特定の程度のカメラカバレッジ冗長性になるように構成してもよい。カメラ冗長性を達成するために、棚面のようなターゲット被写体を画像化する際に、少なくとも５０％の隣接カメラオーバーラップに対して、相対的なカメラ配置及び透視変換を協調的に構成することができる。隣接するカメラオーバーラップは、６０％のような特定の閾値以下に制限されてもよい。この例では、カバーされた棚の各領域を、２台のカメラで見ることができる（例えば、２００％カバレッジ）。たとえ図１８Ｄに示すような完全な歪み補正なしでも、補正シフト光学システムは、カメラカバレッジの制御を強化することができる。

補正光学システム３２０は、追加的又は代替的に、焦点面調整で構成することができ、焦点面は、所望のターゲット被写体と整列するように向きを変えることができる。標準的な画像化アプローチでは、棚上の被写体はカメラからの距離が異なることになり、それによって、通常は全てに完全に焦点が合うことはない。焦点面調整は、チルトレンズ、及びより好ましくはタイルシフトレンズを介して達成されることが好ましい。これは、単一レンズ光学システムであってもよいが、代わりに多段光学システムを含んでもよい。焦点面調整は、上述の透視補正と組み合わせて使用することが好ましい。好ましくは、焦点面は、棚面の画定された表面により接近して整列するように調整される。１つの実装では、チルトシフト光学システムは、棚面の１０度以内で焦点面が整列するように構成されるが、任意の適切な程度の整列を実行してもよい。その結果、棚の前に見えるアイテムは、より均一なレベルの焦点を有する場合がある。

焦点面調整補正は、様々な状況に対して調整することができる。いくつかの変形例では、ターゲット被写体は水平面領域として画定されてもよく、そこで、カメラのセットは水平面領域からの上方及び中心から外れて取り付けられる。各カメラ及び光学システムに対する、並びにカメラ配置にわたる、そのような画像化に対処するために、対応する調整を行うことができる。例えば、アイテムの長いビンを監視する場合、ビンの水平面に整列するように焦点面を調整できる。別の変形例では、ターゲット被写体は、対角表面領域として画定されてもよい。言い換えれば、ターゲット被写体は、講堂の座席など、平行ではない又は垂直（例えば、重力で画定された向き）の角度に面に沿うことができる。一例では、焦点面は同様に、ターゲット領域の画定された角度面と整列することができる。

スプリットビュー変形例
第２の好ましい変形例では、システムは、図２７に示すようなスプリットビュー光学システム３３０を有するカメラ３００を含むことが好ましい。本明細書で説明されるスプリットビュー光学システム３３０は、別個の光学変換でキャプチャされた画像の少なくとも２つの領域を有する。

このスプリットビュー変形例は、画像のサブ領域内の、焦点距離、焦点面の向き、透視歪み補正、又は他の光学特性をカスタマイズするように機能することができる。スプリットビュー変形例は、近接した異なる関心領域をキャプチャするために、画像センサのエリアを効率的に利用する際に役立つことが好ましい。

スプリットビュー変形例は、マルチカメラ変形例と組み合わせて、及び／又はより具体的には上述のカメラモジュールの監視ネットワークと組み合わせて、個別に使用してもよい。スプリットビュー光学システム３３０は、補正光学システム３００の変形例であることが好ましい。したがって、マルチカメラ変形例を有する補正光学システム３２０は、スプリットビュー光学システム３３０を更に使用することができる。

スプリットビュー光学システム３３０内で、異なる「ビュー」又は視野の領域が、異なる方法で変換される。変換のタイプには、透視補正、焦点面調整、視野調整、再方向付け、焦点距離調整、及び／又は他の適切な光学変換が含まれ得る。これらの光学変換は、任意の適切な組み合わせで組み合わせることができる。

スプリットビュー光学システム３３０は、画像化領域のセットを生成することが好ましい。１つの好ましい変形例では、カメラ３００は、スプリットビュー光学システム３３０から、少なくとも第１の画像化領域及び第２の画像化領域をキャプチャするように構成することができる。他の変形例では、第３の画像化領域又は任意の適切な数の画像化領域を、スプリットビュー光学システム３３０によって生成することができる。ここで使用される画像化領域とは、カメラセンサの視野の一部に適用される光学変換から得られる画像データのサブ領域を指す。

別個の光学変換から得られる画像化領域は、別個の遷移又はエッジを有してもよい。結果として得られる画像は、関連する画像部分をソース画像から分離することができる別個の画像として扱われる各画像化領域で処理されてもよい。或いは、光学変換が、段階的な移行を提供するために段階化されてもよい。領域は、図２８に示すように、環境内の別個の領域からの画像データであってもよい。或いは、領域は、別の領域から冗長な画像データを含んでもよい。例えば、図２９に示すように、床領域は、棚の画像データも含まれる画像を含んでもよい。

透視補正及び／又は焦点面調整のためのスプリットビュー光学システム３３０の光学サブシステムは、上述の変形例を適用できることが好ましい。チルトシフト光学サブシステムを使用して、これらの補正の少なくとも１つを適用することが好ましい。スプリットビュー光学システム３３０は、少なくとも１つのチルトシフト光学サブシステムを含むことが好ましい。棚通路の画像化に使用する場合、チルトシフト光学サブシステムを、主に棚面に対して分離された画像領域にローカライズすることができる。

光学サブシステムを使用して、視野を調整することができる。１つの変形例では、領域は、関心領域に焦点を合わせるために狭められた視野を有してもよい。別の変形例では、領域は視野を広げてもよい。広い視野の光学サブシステムは、環境内の監視すべき領域が他の画像化領域のすぐ隣ではなく、低減された画像解像度で視認できる場合に役立ち得る。例えば、第２の棚面である。

光学サブシステムは、ミラー又は他の光学システムが領域の光路を別の空間にリダイレクトするリダイレクト変換を適用してもよい。

棚通路のユースケースでは、カメラ及びスプリットビュー光学システム３３０は、第１の棚面、ユーザトラフィックのある床領域、及び／又は場合によっては第２の棚面をキャプチャするように構成することができる。各領域は、特定の光学変換を有してもよい。

好ましくは、棚の少なくとも１つは、アイテム識別及びアイテム相互作用の分類及び検出の目的で監視される。例えば、第１の棚をキャプチャする画像領域は、棚上のアイテム、及び／又は顧客が棚からアイテムを除去又は棚にアイテムを追加するイベントを検出するのに適していることが好ましい。１つの好ましい変形例では、棚面をキャプチャする画像化領域は、スプリットビュー光学システム３３０のチルトシフト光学サブシステムによって光学的に変換される。

図２６及び図２８に示すように、チルトシフト光学サブシステムは、カメラの視野の一部を光学的に変換する。これは一般に、棚面の画像をキャプチャするために使用できる。他の画像化された領域を使用する際には、様々なオプションがあり得る。

１つの変形例では、少なくとも第２の画像化領域は、第１の画像化領域とは異なる有効な焦点面を与える方法で、光学的に変換することができる。焦点面は、第２のチルトシフト光学サブシステムを介して更に変換することができる。

別の変形例では、スプリットビュー光学システム３３０は、図２６及び図２８に示すように、視野のサブ領域をリダイレクトすることによって、第２の画像化領域を形成するように構成されたミラーを含むことができる。これは、第２の棚面、床面、又は任意の適切な領域などの、より有用な領域に視野をリダイレクトするために使用してもよい。第２の領域の焦点距離及び／又は焦点面はまた、更なる光学変換を介して調整することができる。同様に、視野又は他の光学特性は、スプリットビュー光学システム３３０の光学サブシステムを用いて、第２の画像化領域に対して同様に設定することができる。

１つの変形例では、スプリットビュー光学システム３３０を使用して、カメラが２つの対向する棚を監視できるようにすることができ、これは、カメラが２つの対向する棚面の間及び上方に取り付けられる場合に一般に適用可能である。この変形例では、カメラは、スプリットビュー光学システム３３０から、第１の画像化領域及び第２の画像化領域をキャプチャするように構成することができる。第１の画像化領域は、好ましくは第１の棚面をキャプチャし、第２の画像化領域は、好ましくは第２の棚面をキャプチャする。スプリットビュー光学システム３３０からの第１の画像化領域は、第１の棚面の透視補正を適用するように構成されたチルトシフト光学サブシステムを介して、光学的に変換することができる。

第１の棚に対向し得る第２の棚も同様に、対応する目的で監視することができる。１つの変形例では、一般的な棚の相互作用を検出する目的で、少なくとも１つの棚面を監視してもよい。相互作用の場所又は領域を、更に検出してもよい。例えば、顧客がその棚と相互作用するときを検出することを意図した目的で、第２の棚を監視することができ、ここで、このイベントの更なる分類を、アイテム分類とイベント分類のために構成された異なる視点を有する別のカメラに任せてもよい。

別の変形例では、カメラが棚及び床領域を監視できるように、スプリットビュー光学システム３３０を使用することができる。これは、カメラが棚面の前及び上方に取り付けられているときに、一般的に適用される。この変形例では、各カメラは、スプリットビュー光学システム３３０から第１の画像化領域及び第２の画像化領域をキャプチャするように構成することができる。第１の画像化領域は、好ましくは棚面をキャプチャし、第２の画像化領域は、好ましくは床面をキャプチャする。スプリットビュー光学システム３３０からの第１の画像化領域は、棚面の透視補正を適用するように構成されたチルトシフト光学サブシステムを介して、光学的に変換することができる。第２の領域は、床上又は床の近くのアクティビティを適切に感知するための様々な方法で変更してもよい。

好ましくは、第２の画像化領域は、床面に実質的に平行な焦点面を調整するように構成された光学サブシステムによって、光学的に変換されることが好ましい。これは、人々が環境にわたって移動する場所を監視するために機能してもよい。図２９に示すように、焦点面が人々の顔のおおよその高さになるように、床の画像化領域を更にカスタマイズすることができる。例えば、この画像化領域の焦点面は、少なくとも５フィートに設定できる。

異なる領域は、１つのソース画像上に収集された一連の長方形画像として画像化されるように配置できる。或いは、ソース画像の異なる象限又は任意の適切な位置に領域が反映されるように、異なる領域を光学的に変換することができる。

実施形態のシステム及び方法は、少なくとも部分的に、コンピュータ可読命令を記憶するコンピュータ可読媒体を受信するように構成された機械として、実施及び／又は実装することができる。命令は、アプリケーション、アプレット、ホスト、サーバ、ネットワーク、ウェブサイト、通信サービス、通信インターフェース、ユーザのコンピュータ又はモバイルデバイスのハードウェア／ファームウェア／ソフトウェア要素、リストバンド、スマートフォン、又はそれらの任意の適切な組み合わせと統合されたコンピュータ実行可能コンポーネントによって実行することができる。実施形態の他のシステム及び方法は、少なくとも部分的に、コンピュータ可読命令を記憶するコンピュータ可読媒体を受信するように構成された機械として、実施及び／又は実装することができる。命令は、上述のタイプの装置及びネットワークと統合されたコンピュータ実行可能コンポーネントによって実行することができる。コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学デバイス（ＣＤ又はＤＶＤ）、ハードドライブ、フロッピードライブ、又は任意の適切なデバイスなどの、任意の適切なコンピュータ可読媒体に記憶できる。コンピュータ実行可能コンポーネントはプロセッサであり得るが、任意の適切な専用ハードウェアデバイスが（代替的に又は追加的に）命令を実行することができる。

当業者が前述の詳細な説明から、並びに図面及び特許請求の範囲から認識するように、以下の特許請求の範囲で定義される本発明の範囲から逸脱することなく、本発明の実施形態に修正及び変更を加えることができる。

Claims (18)

1. 環境にわたるビデオ監視のためのシステムであって、
   前記環境内の監視ネットワークとして、取り付けられ、且つ、相互接続されたカメラモジュールのセットを備え、
   前記カメラモジュールのセットの各カメラモジュールインスタンスは、
   長さが３フィートより長い筐体本体と、
   少なくとも第１の接続ポートと第２の接続ポートと、を備えており、
   前記カメラモジュールは複数のカメラを備え、前記複数のカメラは、前記筐体本体にわたって離間配置で取り付けられ、かつ前記環境の外側の視界を有し、
   前記第１の接続ポートと前記第２の接続ポートは、前記カメラモジュールインスタンスの向かい合う両端部に取り付けられ、前記第１の接続ポートと前記第２の接続ポートの各々は、電力接続ポート及び通信接続ポートと、さらに、少なくとも一つの冗長接続ポートとを備え、
   前記カメラモジュールのセットの前記カメラモジュールが、隣接するカメラモジュールの前記接続ポートを介して直列に接続されている、システム。
2. 前記少なくとも一つの冗長接続ポートは、冗長電力接続ポートを備え、各カメラモジュールは、前記カメラモジュールのコンポーネントに供給される電力を管理し、且つ、前記第１の接続ポートの電力接続ポート又は冗長電力接続ポートから前記第２の接続ポートの電力接続ポート及び冗長電力接続ポートに電力を通す電力制御システムを備える、請求項１に記載のシステム。
3. 前記少なくとも一つの冗長接続ポートは、冗長通信接続ポートを備え、各カメラモジュールインスタンスは、前記カメラモジュールインスタンスの前記複数のカメラから収集されたデータのデータ通信を調整し、前記カメラモジュールインスタンスに接続された後続のカメラモジュールへネットワークアクセスを伝えるよう構成されている通信制御システムを更に備える、請求項１に記載のシステム。
4. 前記電力制御システムは、ホットスワップ制御システムを更に備える、請求項２に記載のシステム。
5. 前記第１及び第２の接続ポートの各々は、通信接続ポートを備え、各カメラモジュールインスタンスは、前記カメラモジュールインスタンスの前記複数のカメラから収集されたデータのデータ通信を調整するように構成されている通信制御システムを更に備える、請求項１に記載のシステム。
6. 前記カメラモジュールは、このカメラモジュールを高架構造物から水平に吊り下げるための取り付け機構をさらに含む、請求項１に記載のシステム。
7. 前記カメラモジュールは、照明システムを更に備える、請求項１に記載のシステム。
8. 前記離間配置は、第１の角度方向で取り付けられた前記カメラの第１のサブセットと、第２の角度方向で取り付けられたカメラの第２のサブセットと、を備える、請求項１に記載のシステム。
9. 前記カメラモジュールは、前記カメラモジュールが第１の棚の上方及び前に取り付けられているときに、少なくとも、前記第１の棚の第１の棚面をキャプチャするように構成された角度方向で取り付けられたカメラのサブセットを備える、請求項１に記載のシステム。
10. 前記カメラモジュールは、前記カメラモジュールが第１の棚及び第２の棚の上方及び間に取り付けられているときに、少なくとも、前記第１の棚の第１の棚面及び前記第２の棚の第２の棚面をキャプチャするように構成された角度方向で取り付けられたカメラのサブセットを備える、請求項１に記載のシステム。
11. 前記複数のカメラは、深度知覚配置でペアリングされたカメラのサブセットを有する、請求項１に記載のシステム。
12. 前記カメラは、チルトシフト補正光学システムを更に備える、請求項１に記載のシステム。
13. 前記チルトシフト補正光学システムは、前記棚面の上方及び前に取り付けられたときに、画像化された棚の歪みを補正するように構成されており、前記カメラの離間配置は、隣接するカメラオーバーラップを画像化された棚面の４分の１未満に整列させるように構成されている、請求項９又は１０のいずれか一項を引用する請求項１２に記載のシステム。
14. 前記ビデオ監視は、直列に接続された少なくとも１０台のカメラモジュールで構成されている、請求項１に記載のシステム。
15. 前記カメラモジュールのネットワークは、少なくとも２つのタイプのカメラモジュールで構成されている、請求項１に記載のシステム。
16. 前記カメラモジュールインスタンスは、収集されたビデオデータのローカル処理を実行するように構成された少なくとも１つの処理ユニットを備える、請求項１に記載のシステム。
17. 前記カメラモジュールは、前記収集されたビデオデータのローカル処理の結果に基づいて、ビデオデータを選択的に通信するように構成されている、請求項１６に記載のシステム。
18. 前記接続ポートは無指向性であり、
    前記第１の接続ポートの前記電力接続ポート及び前記冗長接続ポートは、電力の入力又は出力として使用することができ、
    前記通信接続ポート及び前記冗長接続ポートは、ネットワーク接続の入力又は出力として使用することができる、請求項１に記載のシステム。

Images