JP2020150360A - ウェアラブルカメラおよび映像データ生成方法 - Google Patents

Abstract

【課題】映像データに基づいたレポート作成を容易にするウェアラブルカメラを提供すること。【解決手段】ウェアラブルカメラは、撮像部と、撮像部により撮像された映像データを記憶する記憶部と、筺体の異なる位置に配置され、音を集音し、信号を出力する複数の集音部と、信号の出力タイミングのずれに基づいて、音の発生方向を判定し、音の発生方向を属性情報として映像データに付与する制御部と、を備える。【選択図】図４

Description

本開示は、ウェアラブルカメラおよび映像データ生成方法に関する。

近年、警察官または警備員等の業務を支援するため、ウェアラブルカメラが導入されている（例えば、特許文献１を参照）。ウェアラブルカメラは、警察官または警備員等の身体または着用した衣服等に装着され、現場等の映像を撮像する。

警察官は、例えば、警察署に戻り、ウェアラブルカメラで撮影（録画）した映像を、警察署内の端末装置で再生し、再生した映像に基づいて事件に関するレポートを作成する場合がある。

特開２０１６−１８１７６７号公報

ウェアラブルカメラが録画する映像データには、銃声等の事件に関する音が含まれる場合がある。また、映像データには、警察官、容疑者、または目撃者等が発する音声が含まれる場合がある。

レポート作成では、音の発生方向を記載する場合がある。映像データに音の発生方向に関する情報が含まれていると、レポート作成が容易になる場合がある。

本開示の非限定的な実施例は、映像データに基づいたレポート作成を容易にするウェアラブルカメラの提供に資する。

本開示の一態様に係るウェアラブルカメラは、撮像部と、前記撮像部により撮像された映像データを記憶する記憶部と、筺体の異なる位置に配置され、音を集音し、信号を出力する複数の集音部と、前記信号の出力タイミングのずれに基づいて、前記音の発生方向を判定し、前記音の発生方向を属性情報として前記映像データに付与する制御部と、を備える。

本開示の一態様に係る映像データ生成方法は、ウェアラブルカメラの映像データ生成方法であって、筺体の異なる位置に配置され、音を集音する複数の集音部の各々から出力される信号の出力タイミングのずれに基づいて、前記音の発生方向を判定し、前記音の発生方向を属性情報として撮像部が撮影した映像データに付与する。

なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様によれば、映像データに基づいたレポート作成を容易にすることができる。

本開示の一態様における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。

実施の形態に係るウェアラブルカメラシステムの構成例を示した図 ウェアラブルカメラを装着した警察官の上半身の一例を示した図 ウェアラブルカメラの外観例を示した図 図３のウェアラブルカメラのブロック構成例を示した図 話者を示した図 図５の警察官が発話したときのマイクロホンから出力される信号の波形例を示した図 図５の人が発話したときのマイクロホンから出力される信号の波形例を示した図 図５の人が発話したときのマイクロホンから出力される信号の波形例を示した図 図５の人が発話したときのマイクロホンから出力される信号の波形例を示した図 属性情報の付与を説明する図 ウェアラブルカメラの動作例を示したフローチャート 識別情報の付与を説明する図

以下、図面を適宜参照して、本発明の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

図１は、実施の形態に係るウェアラブルカメラシステムの構成例を示した図である。図１に示すように、ウェアラブルカメラシステムは、ウェアラブルカメラ１と、車載システム２と、サーバ３と、端末装置４と、を有する。

車載システム２、サーバ３、および端末装置４は、ネットワーク５を介して接続される。ウェアラブルカメラ１は、車載システム２およびネットワーク５を介して、サーバ３および端末装置４と接続される。ネットワーク５は、例えば、携帯電話等の無線通信ネットワークおよびインターネット等のネットワークを含んでもよい。

ウェアラブルカメラ１は、例えば、警察官に装着または所持される（例えば、図２を参照）。ウェアラブルカメラ１は、例えば、Ｗｉ−Ｆｉ（登録商標）またはブルートゥース（登録商標）等の近距離無線通信によって、車載システム２と通信する。

車載システム２は、例えば、警察車両Ａ１に搭載される。車載システム２は、例えば、車載カメラ（図示せず）、パーソナルコンピュータ等の制御装置（図示せず）、および通信装置（図示せず）等を有している。

車載システム２は、例えば、ウェアラブルカメラ１から、ウェアラブルカメラ１が撮影した映像データを受信する。車載システム２は、ウェアラブルカメラ１から受信した映像データを、ネットワーク５を介して、サーバ３に送信する。また、車載システム２は、車載カメラが撮影した映像データを、ネットワーク５を介して、サーバ３に送信する。

サーバ３は、ウェアラブルカメラ１が撮影した映像データおよび車載システム２の車載カメラが撮影した映像データを記憶する。また、サーバ３は、端末装置４によって作成されたレポート等を記憶する。

端末装置４は、例えば、警察署Ａ２において、警察官によって使用される。端末装置４は、警察官の操作に応じて、サーバ３にアクセスし、サーバ３に記憶されている映像データを表示装置に表示する。また、端末装置４は、警察官の操作に応じて、事件等に関するレポートを作成する。例えば、警察官は、ウェアラブルカメラ１で撮影（録画）した映像を端末装置４で再生し、再生した映像に基づいて事件に関するレポートを作成する。端末装置４は、作成したレポートを、ネットワーク５を介して、サーバ３に送信する。

なお、ウェアラブルカメラ１は、車載システム２およびネットワーク５を介して、サーバ３および端末装置４と接続されるとしたが、これに限られない。ウェアラブルカメラ１は、車載システム２を介さず、ネットワーク５を介して、サーバ３および端末装置４と接続されてもよい。

図２は、ウェアラブルカメラ１を装着した警察官Ｕ１の上半身の一例を示した図である。図２において、図１と同じものには同じ符号が付してある。

ウェアラブルカメラ１は、ユーザである警察官Ｕ１の前方（正面方向）を撮影するように、警察官Ｕ１の制服の前部に装着または保持される。すなわち、ウェアラブルカメラ１は、警察官Ｕ１の顔より下であって、かつ、筐体正面が警察官Ｕ１の前方を向くように配置される。

ウェアラブルカメラ１は、例えば、首から紐で吊り下げた状態で制服の前部に固定されてもよい。ウェアラブルカメラ１は、ウェアラブルカメラ１の筐体の背面に取り付けられた取付具（例えば、取付用クリップ）と制服の前部に取り付けられた被取付具とが係合することで制服の前部に固定されてもよい。

図３は、ウェアラブルカメラ１の外観例を示した図である。図３に示すように、ウェアラブルカメラ１の筐体の正面には、カメラレンズ１１ａと、マイクロホンＭＣ１〜ＭＣ４と、スイッチＳＷ１，ＳＷ２と、が配置されている。ウェアラブルカメラの筐体の上面には、ＬＥＤ（Light Emitting Diode）２６ａ〜２６ｃが配置されている。

マイクロホンＭＣ１〜ＭＣ４は、警察官の発する声および周囲の音を集音する。マイクロホンＭＣ１は、マイクロホンＭＣ４より上方に配置されている。例えば、マイクロホンＭＣ１は、マイクロホンＭＣ４の垂直方向上に配置されている。言い換えれば、マイクロホンＭＣ１は、マイクロホンＭＣ４より警察官の顔に近い位置に配置されている。

後述するが、ウェアラブルカメラ１は、マイクロホンＭＣ１〜ＭＣ４の各々から出力される信号の出力タイミングのずれに基づいて、音の発生した方向を判定する。そのため、マイクロホンＭＣ１，ＭＣ４は、互いにできるだけ離れて配置されるのがよい。例えば、マイクロホンＭＣ１は、筺体正面の上端に配置されてもよい。マイクロホンＭＣ４は、筺体正面の下端に配置されてもよい。

なお、マイクロホンＭＣ１は、ウェアラブルカメラ１の筐体の上面に配置されてもよい。この場合、マイクロホンＭＣ１は、警察官Ｕ１の音声を、筐体の正面に配置された場合より拾いやすくなる。

マイクロホンＭＣ２，ＭＣ３は、マイクロホンＭＣ１とマイクロホンＭＣ４との間であって、マイクロホンＭＣ１とマイクロホンＭＣ４とを結ぶ線を境に左右に配置されている。例えば、ウェアラブルカメラ１を正面から見て、マイクロホンＭＣ２は、マイクロホンＭＣ１とマイクロホンＭＣ４とを結ぶ線を境に、左側に配置されている。マイクロホンＭＣ３は、マイクロホンＭＣ１とマイクロホンＭＣ４とを結ぶ線を境に、右側に配置されている。

後述するが、ウェアラブルカメラ１は、マイクロホンＭＣ１〜ＭＣ４の各々から出力される信号の出力タイミングのずれに基づいて、音の発生した方向を判定する。そのため、マイクロホンＭＣ２，ＭＣ３は、互いにできるだけ離れて配置されるのがよい。例えば、マイクロホンＭＣ２は、筺体正面の左端に配置されてもよい。マイクロホンＭＣ３は、筺体正面の右端に配置されてもよい。また、マイクロホンＭＣ２，ＭＣ３は、マイクロホンＭＣ１，ＭＣ４とできるだけ離れて配置されるのがよい。

スイッチＳＷ１は、ウェアラブルカメラ１の撮影（動画像の録画）の開始／停止の操作を受付けるボタンスイッチである。例えば、ウェアラブルカメラ１は、スイッチＳＷ１が１回押下されると、撮影を開始する。ウェアラブルカメラ１は、次にスイッチＳＷ１が１回押下されると撮影を停止する。ウェアラブルカメラ１は、さらにスイッチＳＷ１が１回押下されると、撮影を開始する。

スイッチＳＷ２は、ウェアラブルカメラ１の静止画像の撮影操作を受付けるボタンスイッチである。例えば、ウェアラブルカメラ１は、スイッチＳＷ２が１回押下されるたびに、静止画像を撮影する。

ＬＥＤ２６ａ〜２６ｃは、点灯状態によって、ウェアラブルカメラ１の動作状態を示す。例えば、ＬＥＤ２６ａ〜２６ｃは、点灯状態によって、ウェアラブルカメラ１が録画中であるか否かを示す。

図４は、図３のウェアラブルカメラ１のブロック構成例を示した図である。図４に示すように、ウェアラブルカメラ１は、撮像部１１と、ＧＰＩＯ（General Purpose Input/Output）１２と、ＲＡＭ（Random access memory）１３と、ＲＯＭ（Read Only Memory）１４と、記憶部１５と、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）１６と、ＲＴＣ（Real Time Clock）１７と、ＧＰＳ（Global Positioning System）１８と、制御部１９と、通信部２１と、ＵＳＢ（Universal Serial Bus）２２と、コンタクトターミナル２３と、電源部２４と、バッテリ２５と、ＬＥＤ２６ａ，２６ｂ，２６ｃと、バイブレータ２７と、オーディオコーデック２８と、スイッチＳＷ１，ＳＷ２と、マイクロホンＭＣ１〜ＭＣ４と、を有している。

撮像部１１は、カメラレンズ１１ａ（図３を参照）と、固体撮像素子（図示せず）とを有している。個体撮像素子は、カメラレンズ１１ａを通して受けた光を電気信号に変換する。撮像部１１は、個体撮像素子の電気信号（映像データ）を制御部１９に出力する。

ＧＰＩＯ１２は、シリアルパラレル変換用のインタフェースである。ＧＰＩＯ１２は、スイッチＳＷ１，ＳＷ２、ＬＥＤ２６ａ〜２６ｃ、およびバイブレータ２７と、制御部１９との間の信号の入出力を行う。

ＲＡＭ１３は、制御部１９の動作において使用されるワークメモリである。

ＲＯＭ１４は、制御部１９を制御するためのプログラムおよびデータを予め記憶するメモリである。

記憶部１５は、例えば、ＳＤメモリ等の外部記憶媒体である。記憶部１５は、撮像部１１にて撮像して得られた映像データを記憶する。記憶部１５は、ウェアラブルカメラ１の筐体本体に対して取付け及び取外しが可能である。

ＥＥＰＲＯＭ１６は、ウェアラブルカメラ１を識別する識別情報（例えば、カメラＩＤ）、および他の設定情報を記憶する。

ＲＴＣ１７は、現在の時刻情報をカウントして制御部１９に出力する。

ＧＰＳ１８は、ＧＰＳ発信機から送信されるＧＰＳ信号を受信して、現在のウェアラブルカメラ１の位置情報を算出する。ＧＰＳ１８は、算出した位置情報を制御部１９に出力する。

制御部１９は、ＲＯＭ１４に記憶されたプログラムおよびデータに従って動作し、ウェアラブルカメラ１全体を制御する。例えば、制御部１９は、各部との間のデータの入出力処理、データの演算（計算）処理、およびデータの記憶処理を行う。制御部１９は、例えば、ＣＰＵ（Central Processing Unit）またはＤＳＰ（Digital Signal Processor）等によって構成されてもよい。

通信部２１は、例えば、ＯＳＩ（Open Systems Interconnection）参照モデルの第１層である物理層において、制御部１９と車載システム２との間を接続する。

ＵＳＢ２２は、例えば、車載システム２との接続を可能とする。また、ＵＳＢ２２は、例えば、警察署Ａ２内の端末装置４との接続を可能とする。

コンタクトターミナル２３は、クレードル（図示せず）または外付けアダプタ（図示せず）等と電気的に接続される端子である。コンタクトターミナル２３は、ＵＳＢ２２を介して制御部１９に接続されるともに、電源部２４と接続される。ウェアラブルカメラ１は、クレードルまたはアダプタを介して、充電が可能となり、または外部装置との通信が可能となる。

電源部２４は、コンタクトターミナル２３を介して、クレードルまたは外付けアダプタより供給される電源電力をバッテリ２５に給電する。

バッテリ２５は、充電可能な２次電池により構成され、ウェアラブルカメラ１の各部に電源電力を供給する。

スイッチＳＷ１は、ウェアラブルカメラ１の撮影の開始／停止の操作を受付けるボタンスイッチである。スイッチＳＷ２は、ウェアラブルカメラ１の静止画像の撮影操作を受付けるボタンスイッチである。

ＬＥＤ２６ａ〜２６ｃは、点灯状態によって、ウェアラブルカメラ１の動作状態を示す。バイブレータ２７は、振動によって、ウェアラブルカメラ１の動作状態を示す。

マイクロホンＭＣ１〜ＭＣ４は、ウェアラブルカメラ１を装着した警察官の発話音声および周囲の音を集音し、集音により得られた信号をオーディオコーデック２８に出力する。オーディオコーデック２８は、信号を符号化（圧縮）し、制御部１９に出力する。

以下、音の発生方向の判定について説明する。

図５は、話者を示した図である。図５には、図２に示した警察官Ｕ１と、人Ｐ１〜Ｐ３と、が示してある。人Ｐ１〜Ｐ３は、例えば、犯人、容疑者、証人、または目撃者等である。

人Ｐ１は、警察官Ｕ１から見て、右側に立っている。人Ｐ２は、警察官Ｕ１から見て、正面に立っている。人Ｐ３は、警察官Ｕ１から見て、左側に立っている。人Ｐ１〜Ｐ３は、警察官Ｕ１の方を向いて立っている。

警察官Ｕ１は、ウェアラブルカメラ１を装着している。警察官Ｕ１は、ウェアラブルカメラ１のスイッチＳＷ１を押下して録画を開始し、例えば、人Ｐ１〜Ｐ３に対してインタビューを行う。

図６は、図５の警察官Ｕ１が発話したときのマイクロホンＭＣ１〜ＭＣ４から出力される信号の波形例を示した図である。図６に示す横軸は時間を示し、縦軸は電圧を示す。

図６に示す波形Ｗ１ａは、マイクロホンＭＣ１から出力された信号の波形を示している。図６に示す波形Ｗ１ｂは、マイクロホンＭＣ２から出力された信号の波形を示している。図６に示す波形Ｗ１ｃは、マイクロホンＭＣ３から出力された信号の波形を示している。図６に示す波形Ｗ１ｄは、マイクロホンＭＣ４から出力された信号の波形を示している。

マイクロホンＭＣ１は、図５に示した警察官Ｕ１の口に最も近い位置にある（図２および図３を参照）。マイクロホンＭＣ２，ＭＣ３は、マイクロホンＭＣ１の次に、警察官Ｕ１の口に近い位置にある。マイクロホンＭＣ４は、警察官Ｕ１の口から最も遠い位置にある。

従って、警察官Ｕ１が発話した音声は、マイクロホンＭＣ１〜ＭＣ４に到達する時間が異なる。警察官Ｕ１が発話した音声の、マイクロホンＭＣ１〜ＭＣ４への到達時間が異なるため、マイクロホンＭＣ１〜ＭＣ４から出力される信号（警察官の発話に基づく信号）の出力タイミングは、異なる。

例えば、波形Ｗ１ａに示すように、最初、マイクロホンＭＣ１から信号が出力される。例えば、時刻ｔ１において、マイクロホンＭＣ１から信号が出力される。

次に、波形Ｗ１ｂ，１ｃに示すように、マイクロホンＭＣ２，ＭＣ３から信号が出力される。例えば、時刻ｔ２１，ｔ２２において、マイクロホンＭＣ２，ＭＣ３から信号が出力される。なお、マイクロホンＭＣ２と警察官Ｕ１の口との距離と、マイクロホンＭＣ３と警察官Ｕ１の口との距離とは、略同じであるため、略同時刻ｔ２１，ｔ２２において、マイクロホンＭＣ２，ＭＣ３から信号が出力される。

最後に、波形Ｗ１ｄに示すように、マイクロホンＭＣ４から信号が出力される。例えば、時刻ｔ３において、マイクロホンＭＣ４から信号が出力される。

制御部１９は、マイクロホンＭＣ１〜ＭＣ４の各々から出力される信号の出力タイミングのずれに基づいて、音の発生した方向を判定する。

例えば、制御部１９は、最初に信号を出力したマイクロホンを判定する。図６の例の場合、最初に信号を出力したのは、上下方向に配置されたマイクロホンＭＣ１，ＭＣ４のうちのマイクロホンＭＣ１である。制御部１９は、少なくとも、ウェアラブルカメラ１の上方から音が発せられたと判定する。

制御部１９は、最初に信号を出力したマイクロホンを判定すると、次に信号を出力したマイクロホンを判定する。図６の例の場合、次に信号を出力したのは、左右方向に配置されたマイクロホンＭＣ２，ＭＣ３（略同時刻に出力）である。制御部１９は、ウェアラブルカメラ１の左右方向の中央から音が発せられたと判定する。

制御部１９は、さらに、次に信号を出力したマイクロホンを判定する。図６の例の場合、次に信号を出力したのは、上下方向に配置されたマイクロホンＭＣ１，ＭＣ４のうちのマイクロホンＭＣ４である。制御部１９は、最初に信号を出力したマイクロホンＭＣ１と、最後に信号を出力したマイクロホンＭＣ４とから、ウェアラブルカメラ１の上方から音が発せられたと判定する。

以上から、制御部１９は、ウェアラブルカメラ１の上方から音が発せられたと判定する。

なお、制御部１９は、ウェアラブルカメラ１の上方から音が発せられたと判定した場合、ウェアラブルカメラ１を所持する警察官Ｕ１が発話したと判定してもよい。

また、制御部１９は、マイクロホンＭＣ１〜ＭＣ４から出力される信号の大きさが所定の閾値を超えた場合に、マイクロホンＭＣ１〜ＭＣ４から信号が出力されたと判定してもよい。言い換えれば、制御部１９は、所定の閾値を超えた信号（音声、銃声、または事故による衝突音等の特定音の信号）において、音の発生方向を判定してもよい。

図７は、図５の人Ｐ１が発話したときのマイクロホンＭＣ１〜ＭＣ４から出力される信号の波形例を示した図である。図７に示す横軸は時間を示し、縦軸は電圧を示す。

図７に示す波形Ｗ２ａは、マイクロホンＭＣ１から出力された信号の波形を示している。図７に示す波形Ｗ２ｂは、マイクロホンＭＣ２から出力された信号の波形を示している。図７に示す波形Ｗ２ｃは、マイクロホンＭＣ３から出力された信号の波形を示している。図７に示す波形Ｗ２ｄは、マイクロホンＭＣ４から出力された信号の波形を示している。

マイクロホンＭＣ２は、図５に示した人Ｐ１（人Ｐ１の口）に最も近い位置にある（図２および図３を参照）。マイクロホンＭＣ１，ＭＣ４は、マイクロホンＭＣ２の次に、人Ｐ１に近い位置にある。マイクロホンＭＣ３は、人Ｐ１から最も遠い位置にある。

従って、人Ｐ１が発話した音声は、マイクロホンＭＣ１〜ＭＣ４に到達する時間が異なる。人Ｐ１が発話した音声の、マイクロホンＭＣ１〜ＭＣ４への到達時間が異なるため、マイクロホンＭＣ１〜ＭＣ４から出力される信号（人Ｐ１の発話に基づく信号）の出力タイミングは、異なる。

例えば、波形Ｗ２ｂに示すように、最初、マイクロホンＭＣ２から信号が出力される。例えば、時刻ｔ１において、マイクロホンＭＣ２から信号が出力される。

次に、波形Ｗ２ａ，２ｄに示すように、マイクロホンＭＣ１，ＭＣ４から信号が出力される。例えば、時刻ｔ２１，ｔ２２において、マイクロホンＭＣ１，ＭＣ４から信号が出力される。なお、マイクロホンＭＣ１と人Ｐ１との距離と、マイクロホンＭＣ４と人Ｐ１との距離とは、略同じであるため、略同時刻ｔ２１，ｔ２２において、マイクロホンＭＣ１，ＭＣ４から信号が出力される。

最後に、波形Ｗ２ｃに示すように、マイクロホンＭＣ３から信号が出力される。例えば、時刻ｔ３において、マイクロホンＭＣ３から信号が出力される。

制御部１９は、マイクロホンＭＣ１〜ＭＣ４の各々から出力される信号の出力タイミングのずれに基づいて、音の発生した方向を判定する。

例えば、制御部１９は、最初に信号を出力したマイクロホンを判定する。図７の例の場合、最初に信号を出力したのは、左右方向に配置されたマイクロホンＭＣ２，ＭＣ３のうちのマイクロホンＭＣ２である。制御部１９は、少なくとも、ウェアラブルカメラ１の正面方向から見て（警察官Ｕ１から見て）右方から音が発せられたと判定する。

制御部１９は、最初に信号を出力したマイクロホンを判定すると、次に信号を出力したマイクロホンを判定する。図７の例の場合、次に信号を出力したのは、上下方向に配置されたマイクロホンＭＣ１，ＭＣ４（略同時刻に出力）である。制御部１９は、ウェアラブルカメラ１の上下方向の中央付近から音が発せられたと判定する。

制御部１９は、さらに、次に信号を出力したマイクロホンを判定する。図７の例の場合、次に信号を出力したのは、左右方向に配置されたマイクロホンＭＣ２，ＭＣ３のうちのマイクロホンＭＣ３である。制御部１９は、最初に信号を出力したマイクロホンＭＣ２と、最後に信号を出力したマイクロホンＭＣ３とから、ウェアラブルカメラ１の右方から音が発せられたと判定する。

以上から、制御部１９は、ウェアラブルカメラ１の右方から音が発せられたと判定する。

図８は、図５の人Ｐ２が発話したときのマイクロホンＭＣ１〜ＭＣ４から出力される信号の波形例を示した図である。図８に示す横軸は時間を示し、縦軸は電圧を示す。

図８に示す波形Ｗ３ａは、マイクロホンＭＣ１から出力された信号の波形を示している。図８に示す波形Ｗ３ｂは、マイクロホンＭＣ２から出力された信号の波形を示している。図８に示す波形Ｗ３ｃは、マイクロホンＭＣ３から出力された信号の波形を示している。図８に示す波形Ｗ３ｄは、マイクロホンＭＣ４から出力された信号の波形を示している。

マイクロホンＭＣ１〜ＭＣ４は、図５に示した人Ｐ２（人Ｐ２の口）と略同じ距離にある。

従って、人Ｐ２が発話した音声は、マイクロホンＭＣ１〜ＭＣ４に到達する時間が略同じになる。

例えば、波形Ｗ３ａ〜Ｗ３ｄに示すように、略同時刻ｔ１１〜ｔ１４において、マイクロホンＭＣ１〜ＭＣ４から信号が出力される。

制御部１９は、マイクロホンＭＣ１〜ＭＣ４から略同時刻ｔ１１〜ｔ１４に信号が出力された場合、ウェアラブルカメラ１の正面から音が発せられたと判定する。

図９は、図５の人Ｐ３が発話したときのマイクロホンＭＣ１〜ＭＣ４から出力される信号の波形例を示した図である。図９に示す横軸は時間を示し、縦軸は電圧を示す。

図９に示す波形Ｗ４ａは、マイクロホンＭＣ１から出力された信号の波形を示している。図９に示す波形Ｗ４ｂは、マイクロホンＭＣ２から出力された信号の波形を示している。図９に示す波形Ｗ４ｃは、マイクロホンＭＣ３から出力された信号の波形を示している。図９に示す波形Ｗ４ｄは、マイクロホンＭＣ４から出力された信号の波形を示している。

マイクロホンＭＣ３は、図５に示した人Ｐ３（人Ｐ３の口）に最も近い位置にある（図２および図３を参照）。マイクロホンＭＣ１，ＭＣ４は、マイクロホンＭＣ３の次に、人Ｐ３に近い位置にある。マイクロホンＭＣ２は、人Ｐ３から最も遠い位置にある。

従って、人Ｐ３が発話した音声は、マイクロホンＭＣ１〜ＭＣ４に到達する時間が異なる。人Ｐ３が発話した音声の、マイクロホンＭＣ１〜ＭＣ４への到達時間が異なるため、マイクロホンＭＣ１〜ＭＣ４から出力される信号（人Ｐ３の発話に基づく信号）の出力タイミングは、異なる。

例えば、波形Ｗ４ｃに示すように、最初、マイクロホンＭＣ３から信号が出力される。例えば、時刻ｔ１において、マイクロホンＭＣ３から信号が出力される。

次に、波形Ｗ４ａ，４ｄに示すように、マイクロホンＭＣ１，ＭＣ４から信号が出力される。例えば、時刻ｔ２１，ｔ２２において、マイクロホンＭＣ１，ＭＣ４から信号が出力される。なお、マイクロホンＭＣ１と人Ｐ３との距離と、マイクロホンＭＣ４と人Ｐ３との距離とは、略同じであるため、略同時刻ｔ２１，ｔ２２において、マイクロホンＭＣ１，ＭＣ４から信号が出力される。

最後に、波形Ｗ４ｂに示すように、マイクロホンＭＣ２から信号が出力される。例えば、時刻ｔ３において、マイクロホンＭＣ２から信号が出力される。

制御部１９は、マイクロホンＭＣ１〜ＭＣ４の各々から出力される信号の出力タイミングのずれに基づいて、音の発生した方向を判定する。

例えば、制御部１９は、最初に信号を出力したマイクロホンを判定する。図９の例の場合、最初に信号を出力したのは、左右方向に配置されたマイクロホンＭＣ２，ＭＣ３のうちのマイクロホンＭＣ３である。制御部１９は、少なくとも、ウェアラブルカメラ１の左方から音が発せられたと判定する。

制御部１９は、最初に信号を出力したマイクロホンを判定すると、次に信号を出力したマイクロホンを判定する。図９の例の場合、次に信号を出力したのは、上下方向に配置されたマイクロホンＭＣ１，ＭＣ４（略同時刻に出力）である。制御部１９は、ウェアラブルカメラ１の上下方向の中央付近から音が発せられたと判定する。

制御部１９は、さらに、次に信号を出力したマイクロホンを判定する。図９の例の場合、次に信号を出力したのは、左右方向に配置されたマイクロホンＭＣ２，ＭＣ３のうちのマイクロホンＭＣ２である。制御部１９は、最初に信号を出力したマイクロホンＭＣ３と、最後に信号を出力したマイクロホンＭＣ２とから、ウェアラブルカメラ１の左方から音が発せられたと判定する。

以上から、制御部１９は、ウェアラブルカメラ１の左方から音が発せられたと判定する。

図６〜図９では、制御部１９は、人の声の発生方向を判定したが、これに限られない。制御部１９は、例えば、銃声または事故による衝突音等の事件に関する音の発生方向を判定してもよい。事件に関する音の発生方向の判定方法は、図６〜図９で説明した方法と同様である。

制御部１９は、音の発生方向を判定すると、判定した音の発生方向を属性情報として、映像データに付与する。

図１０は、属性情報の付与を説明する図である。図１０には、映像データが示してある。映像データには、音声データも含まれている。図１０に示す横軸は、時間を示す。図５に示した警察官Ｕ１および人Ｐ１〜Ｐ３は、図１０の両矢印に示す間、発話する。

制御部１９は、マイクロホンＭＣ１〜ＭＣ４から出力される信号の出力タイミングに基づいて、音の発生した方向を判定する。

例えば、警察官Ｕ１が発話した場合、制御部１９は、ウェアラブルカメラ１の上方から、音が発生したと判定する。制御部１９は、音の発生方向を判定すると、図１０の矢印Ａ１１に示すように、警察官Ｕ１が発話を開始した時刻において、音の発生方向はウェアラブルカメラ１の上方であることを示す属性情報を、映像データに付与する。

人Ｐ１が発話した場合、制御部１９は、ウェアラブルカメラ１の右方から、音が発生したと判定する。制御部１９は、音の発生方向を判定すると、図１０の矢印Ａ１２に示すように、人Ｐ１が発話を開始した時刻において、音の発生方向はウェアラブルカメラ１の右方であることを示す属性情報を、映像データに付与する。

人Ｐ２が発話した場合、制御部１９は、ウェアラブルカメラ１の正面から、音が発生したと判定する。制御部１９は、音の発生方向を判定すると、図１０の矢印Ａ１３に示すように、人Ｐ２が発話を開始した時刻において、音の発生方向はウェアラブルカメラ１の正面であることを示す属性情報を、映像データに付与する。

人Ｐ３が発話した場合、制御部１９は、ウェアラブルカメラ１の左方から、音が発生したと判定する。制御部１９は、音の発生方向を判定すると、図１０の矢印Ａ１４に示すように、人Ｐ３が発話を開始した時刻において、音の発生方向はウェアラブルカメラ１の左方であることを示す属性情報を、映像データに付与する。

なお、制御部１９は、音の発生方向に関する属性情報を映像データに付与する際、映像データの映像中における時刻および位置情報を属性情報として、映像データに付与してもよい。

図１１は、ウェアラブルカメラ１の動作例を示したフローチャートである。制御部１９は、録画中に図１１に示すフローチャートの処理を実行してもよい。

制御部１９は、マイクロホンＭＣ１〜ＭＣ４から信号を受信する（ステップＳ１）。

制御部１９は、ステップＳ１にて受信した信号の出力タイミングのずれから、話者の方向を判定する（ステップＳ２）。

例えば、制御部１９は、マイクロホンＭＣ１〜ＭＣ４から出力される信号の出力順に基づいて、話者の方向を判定してもよい。

また、制御部１９は、ステップＳ１にて受信した信号の出力時間差から、ウェアラブルカメラ１の正面方向を基準（例えば、０度）とした、音声の発生方向（角度）を判定してもよい。言い換えれば、制御部１９は、音声の到着時間差から、ウェアラブルカメラ１の正面方向を基準とした、音声の発生方向を判定してもよい。

制御部１９は、ステップＳ２にて判定した方向の信号に対し、ノイズを除去する（ステップＳ３）。例えば、制御部１９は、ステップＳ２にて判定した方向の音を集音するマイクロホンＭＣ１〜ＭＣ４から出力される信号に対し、音声帯域以外の帯域の信号を除去する。制御部１９は、例えば、デジタルフィルタによって、音声帯域以外の帯域の信号を除去してもよい。

制御部１９は、ステップＳ２にて判定した話者の方向を属性情報として映像データに付与する（ステップＳ４）。制御部１９は、話者の方向を属性情報として映像データに付与する際、映像データの映像中における時刻および位置情報を属性情報として、映像データに付与してもよい。

なお、図１１のフローチャートでは、制御部１９は、話者の方向を判定したが、これに限られない。制御部１９は、銃声または事故による衝突音等の発生方向も判定してよい。

また、図１１のフローチャートでは、録画中に属性情報を映像データに付与したが、これに限られない。制御部１９は、録画停止後、記憶部１５に記憶された映像データから、属性情報を生成し、映像データに付与してもよい。例えば、制御部１９は、記憶部１５に記憶された映像データを車載システム２に送信する際、映像データに含まれるマイクロホンＭＣ１〜ＭＣ４の信号から音の発生方向を判定する。制御部１９は、判定した音の発生方向を属性情報として映像データに付与する。制御部１９は、属性情報を付与した映像データを車載システム２に送信する。

以上説明したように、ウェアラブルカメラ１は、撮像部１１と、撮像部１１により撮像された映像データを記憶する記憶部１５と、筺体の異なる位置に配置され、音を集音する複数のマイクロホンＭＣ１〜ＭＣ４と、複数のマイクロホンＭＣ１〜ＭＣ４の各々から出力される信号の出力タイミングのずれに基づいて、音の発生した方向を判定し、判定した方向を属性情報として前記映像データに付与する制御部１９と、を備える。
これにより、警察官は、映像データに基づいたレポート作成が容易となる。例えば、警察官は、映像データに含まれる属性情報を、端末装置４に表示させることにより、音の発生方向を把握でき、把握した音の発生方向をレポートに記載できる。また、警察官は、音の発生方向から、例えば、だれが発話したかを把握でき、発話者をレポートに記載できる。

（変形例１）
マイクロホンの数は、４つに限られない。マイクロホンの数は、５つ以上であってもよい。マイクロホンの数が多い程、制御部１９は、音の発生方向を細かく判定できる。

マイクロホンの数は、２つであってもよい。例えば、ウェアラブルカメラ１は、マイクロホンＭＣ１とマイクロホンＭＣ４との２つを備えてもよい。この場合、制御部１９は、ウェアラブルカメラ１を装着した警察官と、その他の人の音声とを区別できる。制御部１０は、警察官が発話したことを示す属性情報を映像データに付与してもよい。

（変形例２）
制御部１９は、マイクロホンＭＣ１〜ＭＣ４から出力される信号の周波数に基づいて、音の発生源を区別し、区別した発生源を識別する識別情報を属性情報として映像データに付与してもよい。

図１２は、識別情報の付与を説明する図である。例えば、図１２には、映像データが示してある。映像データには、音声データも含まれている。図１２に示す横軸は、時間を示す。図５に示した警察官Ｕ１および人Ｐ１〜Ｐ３は、図１２の両矢印に示す間、発話する。

制御部１９は、マイクロホンＭＣ１〜ＭＣ４から出力される信号（音）を周波数解析する。制御部１９は、警察官Ｕ１および人Ｐ１〜Ｐ３が発した音声を周波数解析し、音声の発生源である警察官Ｕ１および人Ｐ１〜Ｐ３を区別する。制御部１９は、区別した警察官Ｕ１および人Ｐ１〜Ｐ３のそれぞれを識別する識別情報を生成し、生成した識別情報を属性情報として映像データに付与する。

例えば、制御部１９は、警察官Ｕ１が発話すると、警察官Ｕ１の識別情報Ａを生成する。制御部１９は、矢印Ａ２１に示すように、警察官Ｕ１が発話を開始した時刻において、識別情報Ａを属性情報として映像データに付与する。

制御部１９は、人Ｐ１が発話すると、警察官Ｕ１の識別情報Ａと異なる識別情報Ｂを生成する。制御部１９は、矢印Ａ２２に示すように、人Ｐ１が発話を開始した時刻において、識別情報Ｂを属性情報として映像データに付与する。

制御部１９は、警察官Ｕ１が発話すると、矢印Ａ２３に示すように、警察官Ｕ１が発話を開始した時刻において、すでに生成した識別情報Ａを属性情報として映像データに付与する。

制御部１９は、人Ｐ３が発話すると、警察官Ｕ１および人Ｐ１の識別情報Ａ，Ｂと異なる識別情報Ｃを生成する。制御部１９は、矢印Ａ２４に示すように、人Ｐ３が発話を開始した時刻において、識別情報Ｃを属性情報として映像データに付与する。

制御部１９は、人Ｐ２が発話すると、警察官Ｕ１および人Ｐ１，Ｐ２の識別情報Ａ，Ｂ，Ｃと異なる識別情報Ｄを生成する。制御部１９は、矢印Ａ２５に示すように、人Ｐ２が発話を開始した時刻において、識別情報Ｄを属性情報として映像データに付与する。

制御部１９は、人Ｐ１が発話すると、矢印Ａ２６に示すように、人Ｐ１が発話を開始した時刻において、すでに生成した識別情報Ｂを属性情報として映像データに付与する。

このように、制御部１９は、発話者を識別する識別情報を映像データに付与する。これにより、警察官は、レポートの作成が容易となる。例えば、端末装置４は、警察官の操作に応じて、映像データに属性情報として付与された識別情報を検索して再生することにより、特定の人物が発話した映像を選択的に再生できる。

（変形例３）
ウェアラブルカメラ１を装着するユーザは、警察官に限られない。ウェアラブルカメラ１を装着するユーザは、警備員等であってもよい。

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

本開示は、例えば、警察官に装着され、撮影を行うウェアラブルカメラに有用である。

１ ウェアラブルカメラ
２ 車載システム
３ サーバ
４ 端末装置
５ ネットワーク
１１ 撮像部
１１ａ カメラレンズ
１２ ＧＰＩＯ
１３ ＲＡＭ
１４ ＲＯＭ
１５ 記憶部
１６ ＥＥＰＲＯＭ
１７ ＲＴＣ
１８ ＧＰＳ
１９ 制御部
２１ 通信部
２２ ＵＳＢ
２３ コンタクトターミナル
２４ 電源部
２５ バッテリ
２６ａ，２６ｂ，２６ｃ ＬＥＤ
２７ バイブレータ
２８ オーディオコーデック
ＳＷ１，ＳＷ２ スイッチ
ＭＣ１〜ＭＣ４ マイクロホン
Ａ１ 警察車両
Ａ２ 警察署

Claims (5)

1. 撮像部と、
   前記撮像部により撮像された映像データを記憶する記憶部と、
   筺体の異なる位置に配置され、音を集音し、信号を出力する複数の集音部と、
   前記信号の出力タイミングのずれに基づいて、前記音の発生方向を判定し、前記音の発生方向を属性情報として前記映像データに付与する制御部と、
   を有するウェアラブルカメラ。
2. 前記ウェアラブルカメラは、前記ウェアラブルカメラを装着または保持するユーザの顔より下であって、かつ、前記筐体の正面が前記ユーザの前方を向くように配置され、
   前記複数の集音部の第１の集音部は、前記複数の集音部の第２の集音部より前記ユーザの顔に近い位置に配置される、
   請求項１に記載のウェアラブルカメラ。
3. 前記複数の集音部の第３の集音部および第４の集音部は、前記第１の集音部と第２の集音部との間であって、前記第１の集音部と第２の集音部とを結ぶ線を境に左右に配置される、
   請求項２に記載のウェアラブルカメラ。
4. 前記制御部は、前記信号の周波数に基づいて前記音の発生源を区別し、前記音の発生源を識別する識別情報を属性情報として前記映像データに付与する、
   請求項１から３のいずれか一項に記載のウェアラブルカメラ。
5. ウェアラブルカメラの映像データ生成方法であって、
   筺体の異なる位置に配置され、音を集音する複数の集音部の各々から出力される信号の出力タイミングのずれに基づいて、前記音の発生方向を判定し、
   前記音の発生方向を属性情報として撮像部が撮影した映像データに付与する、
   映像データ生成方法。

Images