JP6705470B2 - 記録再生装置、記録再生方法、およびプログラム - Google Patents

Description

本発明は、記録再生装置、記録再生方法、およびプログラムに関し、特に詳しくは、自動車などの移動体の事故を検出して記録したデータを適切に再生する、記録再生装置、記録再生方法、およびプログラムに関する。

車両に対する衝撃を検出して検出時点の前後所定期間の映像をイベント記録データとして上書きされないように保存するドライブレコーダが普及している。例えば、特許文献１には、加速度の推移に基づき映像データを記録するドライブレコーダが開示されている。

特開２００９−０８７００７号公報

上述の特許文献１のドライブレコーダなど多くのドライブレコーダは、事故等によるイベントを検出した場合に保存されるイベント記録データを、事故の状況確認目的などで再生する場合、ドライブレコーダを操作することで、再生対象となるイベント記録データを選択し、再生操作を行う必要がある。または、ドライブレコーダがイベント記録データを保存したメモリカード等を取外し、他の装置で再生する。

しかし、ドライブレコーダのユーザがドライブレコーダの機能を熟知していない場合など、事故の状況確認時にイベント記録データを適切に再生できない場合もある。

本発明は、上記問題に鑑み、容易にイベント記録データを確認することができる、記録再生装置、記録再生方法、およびプログラムを提供することを目的とする。

本発明に係る記録再生装置は、移動体の周囲を撮影する第一カメラが撮影した第一撮影データ、および表示部の表示面に対向する方向を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得部と、前記移動体に対するイベントを検出するイベント検出部と、前記イベント検出部がイベントを検出した場合、少なくともイベントの発生時点を含む第一撮影データをイベント記録データとして保存する記録制御部と、前記第二撮影データから人の顔を検出する顔検出部と、イベント記録データの保存後、所定期間内に前記顔検出部が人の顔を検出した場合、前記イベント記録データを再生する再生制御部と、前記再生制御部が再生した前記イベント記録データを前記表示部に表示させる表示制御部と、を備える。

本発明に係る記録方法は、移動体の周囲を撮影する第一カメラが撮影した第一撮影データを取得する第一撮影データ取得ステップと、前記移動体に対するイベントを検出するイベント検出ステップと、イベントが検出された場合、少なくともイベントの発生時点を含む第一撮影データをイベント記録データとして保存する記録ステップと、表示部の表示面に対向する方向を撮影する第二カメラが撮影した第二撮影データを取得する第二撮影データ取得ステップと、前記第二撮影データから人の顔を検出する顔検出ステップと、前記記録ステップにおけるイベント記録データの保存後、所定期間内に人の顔が検出された場合、前記イベント記録データを再生する再生ステップと、前記再生ステップにおいて再生された前記イベント記録データを前記表示部に表示させる表示ステップと、を含む。

本発明に係るプログラムは、移動体の周囲を撮影する第一カメラが撮影した第一撮影データを取得する第一撮影データ取得ステップと、前記移動体に対するイベントを検出するイベント検出ステップと、イベントが検出された場合、少なくともイベントの発生時点を含む第一撮影データをイベント記録データとして保存する記録ステップと、表示部の表示面に対向する方向を撮影する第二カメラが撮影した第二撮影データを取得する第二撮影データ取得ステップと、前記第二撮影データから人の顔を検出する顔検出ステップと、前記記録ステップにおけるイベント記録データの保存後、所定期間内に人の顔が検出された場合、前記イベント記録データを再生する再生ステップと、前記再生ステップにおいて再生された前記イベント記録データを前記表示部に表示させる表示ステップと、を記録再生装置として動作するコンピュータに実行させる。

本発明によれば、容易にイベント記録データを確認することができる。

本発明の第１実施形態に係る記録再生装置の構成を示すブロック図である。 本発明の第１実施形態に係る記録再生装置の外観を示す図である。 本発明の第１実施形態に係る記録再生装置の外観を示す図である。 本発明の第１実施形態に係る撮影データとイベント記録データとの関係を概念的に示す図である。 本発明の第１実施形態に係る記録再生装置の処理例を示すフローチャートである。 本発明の第２実施形態に係る記録再生装置の処理例を示すフローチャートである。 本発明の第３実施形態に係る記録再生装置の処理例を示すフローチャートである。 本発明の第４実施形態に係る記録再生装置の構成を概念的に示す図である。 本発明の第４実施形態に係る記録再生装置を構成する車両側装置の構成を示すブロック図である。 本発明の第４実施形態に係る記録再生装置を構成する携帯端末の構成を示すブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。なお、以下の説明では、本実施の形態にかかる記録再生装置の例として、移動体である自動車において用いられるドライブレコーダの例として説明するが、本発明はこれに限られるものではない。例えば、オートバイ、自転車などの各種車両、鉄道、船舶、ロボット、さらには人など様々な移動体に対して適用することが可能である。また、以下の実施形態により本発明が限定されるものではない。

以下、図１から図５を参照して、本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る記録再生装置１０の構成を示すブロック図である。記録再生装置１０は、ドライブレコーダとして、車両のウィンドシールド上部に車両の前方を向いて装着され、事故に相当する衝撃を検出して事故発生時を含む期間の撮影データをイベント記録データとして保存する。ドライブレコーダとしての記録再生装置１０は、単体の装置として車両に装着されるものに限らず、ナビゲーション装置の機能として実現される構成や、車両に予め装着されている構成などにも適用可能である。

図１において、記録再生装置１０は、記録制御装置としての制御部１００、第一カメラ２１０、第二カメラ２２０、記録部２４０、操作部２５０、表示部２６０、センサ２７０、ＧＰＳ（Global Positioning System）受信部２８０を備える。

記録再生装置１０は、車両の周囲を撮影する第一カメラ２１０の撮影向きが、車両の前方を向いて装着されるが、車両の後方または側方を向いて装着されるものであってもよい。また、記録再生装置１０は、一体型の装置であってもよく、複数の装置に分散されて実現されてもよい。

図２は、本発明の第１実施形態に係る記録再生装置１０の外観を示す図であり、車両の周囲を撮影する方向からみた正面図である。つまり、図２における第一カメラ２１０が撮影する方向からみた図である。

図３は、本発明の第１実施形態に係る記録再生装置１０の外観を示す図であり、図２とは反対方向から見た背面図である。つまり、図３における第二カメラ２２０と表示部２６０の表示面２６１とが、同じ面に配置されている。

記録再生装置１０を、車両の前方を撮影するように、車両のウィンドシールド上部に車両の前方を向いて装着された場合、図２における第一カメラ２１０は、車両のウィンドシールドを介して車両の周囲である前方を撮影可能であり、第二カメラ２２０および表示部２６０の表示面２６１は、車両の室内側、言い換えると、運転者側を向く。

図１に戻り、制御部１００は、各種データ処理を行う単数または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、バッファメモリ１２１などで構成され、プログラムによって様々な処理を実行する。制御部１００は、その構成および機能として、バスライン１１０、撮影データ取得部１２０、撮影データ処理部１２２、記録制御部１２３、再生制御部１２４、操作制御部１２５、表示制御部１２６、イベント検出部１２７、移動情報取得部１２８、顔検出部１２９を少なくとも備える。以下、制御部１００の各構成要素は、撮影データなどのデータを、バスライン１１０を経由して授受することとして説明する。

制御部１００は、記録再生装置１０における本発明にかかる動作を実行する記録制御装置であり、本発明にかかる記録方法を実行する。また、制御部１００は、本発明にかかるプログラムを動作させるコンピュータである。

第一カメラ２１０は、移動体である車両の周囲を撮影する。第一カメラ２１０は、記録再生装置１０として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。また、第一カメラ２１０および撮影データ取得部１２０を含むユニットが、有線または無線により別体として接続されていてもよい。第一カメラ２１０には、図示しないが、レンズ、撮像素子、Ａ−Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換素子等が含まれる。第一カメラ２１０は、撮影した第一撮影データを、撮影データ取得部１２０に出力する。

図１においては、第一カメラ２１０は単数として示したが、第一カメラ２１０は複数のカメラで構成されていてもよい。例えば、車両の前方、後方、側方、車室内などを各々撮影する任意の組合せの複数のカメラであってもよい。

第二カメラ２２０は、表示部２６０の表示面２６１に対向する方向を撮影する。表示部２６０は、表示部２６０を構成する表示パネルと置き換えてもよい。第二カメラ２２０は、記録再生装置１０として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。また、第二カメラ２２０および撮影データ取得部１２０を含むユニットが、有線または無線により別体として接続されていてもよい。第二カメラ２２０には、図示しないが、レンズ、撮像素子、Ａ−Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換素子等が含まれる。第二カメラ２２０は、撮影した第二撮影データを、撮影データ取得部１２０に出力する。

図１においては、第二カメラ２２０は単数として示したが、第二カメラ２２０は複数のカメラで構成されていてもよい。また、第二カメラ２２０は、可視光を撮影するカメラ、赤外線領域を撮影するカメラ、またはこれらの組み合わせであってもよい。

図１においては、第一カメラ２１０と第二カメラ２２０とは、異なるカメラとして説明したが、例えば上述した第一カメラ２１０と第二カメラ２２０が撮影する範囲を単一のカメラで撮影可能であれば、単一のカメラを用いてもよい。単一のカメラとは、例えば３６０度の全周囲カメラである。

第一カメラ２１０および第二カメラ２２０が撮影する撮影データは、動画像データである。これらの撮影データには、動画像データに加えて音声データを含んでいてもよい。この場合、第一カメラ２１０および第二カメラ２２０の構成にはマイクロフォンを含む。

記録部２４０は、第一カメラ２１０が撮影した第一撮影データを、記録制御部１２３の制御によって記録するための不揮発性メモリであり、例えばメモリカードである。記録部２４０に記録された第一撮影データは、再生制御部１２４の制御によって再生される。記録部２４０は、記録部２４０に加えて記録制御部１２３および再生制御部１２４を備える別体の記録再生装置と置き換えてもよい。記録部２４０は、記録再生装置１０として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。

操作部２５０は、記録再生装置１０に対する操作を受け付けるインターフェースであり、受け付けた操作情報を操作制御部１２５に出力する。操作部２５０は、各種ボタンやタッチパネルであり、ユーザによる操作を受け付ける。操作部２５０は、無線接続された他の装置からの操作を受け付けてもよい。操作部２５０は、例えば、ユーザによるイベントの記録開始の操作を受け付ける。また、操作部２５０は、ユーザによるイベント記録データの再生を行う操作を受け付ける。

表示部２６０は、表示制御部１２６の制御により各種情報を表示する表示装置である。表示部２６０は、例えば液晶パネルや有機ＥＬパネルなどの表示パネルを備える。表示部２６０は、記録再生装置１０として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。表示部２６０は、無線により接続され表示制御部１２６を備える他の装置であってもよい。

センサ２７０は、例えば加速度センサであり、記録再生装置１０または車両に加わった加速度を検出する。センサ２７０は、例えば３軸の加速度センサであり、ｘ軸方向として車両の前後方向、ｙ軸方向として車両の左右方向、ｚ軸方向として車両の上下方向に加わった加速度を検出する。センサ２７０は、検出した加速度情報をイベント検出部１２７に出力する。センサ２７０は、記録再生装置１０として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。また、センサ２７０は、センサ２７０およびイベント検出部１２７を含むユニットとして別体であってもよい。

ＧＰＳ受信部２８０は、ＧＰＳ衛星からの信号を受信するＧＰＳアンテナである。ＧＰＳ受信部２８０は、受信した信号を移動情報取得部１２８に出力する。ＧＰＳ受信部２８０は、記録再生装置１０として一体的に備えられていてもよく、有線または無線により別体として接続されていてもよい。また、ＧＰＳ取得部２８０は、ＧＰＳ取得部２８０および移動情報取得部１２８を含む他の装置として別体であってもよい。

撮影データ取得部１２０は、第一カメラ２１０が撮影した第一撮影データおよび第二カメラ２２０が撮影した第二撮影データを取得する。撮影データ取得部１２０は、第一カメラ２１０から取得した第一撮影データを、バッファメモリ１２１へ出力する。撮影データ取得部１２０は、第二カメラ２２０から取得した第二撮影データを、顔検出部１２９に出力する。

撮影データ取得部１２０は、イベント検出部１２７からイベントを検出したことを示す信号を取得し、イベントが検出された場合に、第二カメラ２２０から第二撮影データを取得するようにしてもよい。この場合、撮影データ取得部１２０は、イベントが検出された場合に、第二カメラ２２０の動作を開始させるようにしてもよい。

バッファメモリ１２１は、制御部１００が備える内部メモリであり、撮影データ取得部１２０が取得した一定時間分の撮影データを、更新しながら一時的に記憶する。

撮影データ処理部１２２は、バッファメモリ１２１が一時的に記憶している撮影データを、例えばＨ．２６４やＭＰＥＧ−４（Moving Picture Experts Group）などの任意の方式のコーデックで符号化された、例えばＭＰ４形式などの任意のファイル形式に変換する。撮影データ処理部１２２は、バッファメモリ１２１が一時的に記憶している撮影データから、一定時間分のファイルとした撮影データを生成する。具体例として、撮影データ処理部１２２は、バッファメモリ１２１が一時的に記憶している撮影データを、記録順に６０秒間の撮影データをファイルとして生成する。撮影データ処理部１２２は、生成した撮影データを記録制御部１２３へ出力する。また、撮影データ処理部１２２は、生成した撮影データを表示制御部１２６へ出力する。ファイルとして生成される撮影データの期間は、一例として６０秒としたが、これには限定されない。

記録制御部１２３は、撮影データ処理部１２２でファイル化された撮影データを、記録部２４０に記録させる制御を行う。記録制御部１２３は、イベント検出部１２７がイベントを検出していない期間は、撮影データ処理部１２２でファイル化された撮影データを、上書き可能な撮影データとして、記録部２４０に記録する。記録制御部１２３は、記録部２４０の記録容量が上限となった場合、記録部２４０に記録されている上書き可能な撮影データのうち、古い撮影データが記録されている記録領域から、新しい撮影データを上書きして記録する。記録制御部１２３が記録部２４０に記録する撮影データは、第一カメラ２１０が撮影した第一撮影データである。

記録制御部１２３は、イベント検出部１２７が、イベントが発生したと判断したことを受けて、イベント発生時点を含む所定の期間の第一撮影データを、上書きが禁止されたイベント記録データとして保存する。

記録制御部１２３によるイベント記録データの保存方法は任意である。例えば、第一撮影データにおける上書き禁止とする区間のヘッダもしくはペイロードなどに上書き禁止フラグを付与して、記録部２４０に保存する。または、第一撮影データにおける上書き禁止とする区間を、記録部２４０の上書き禁止エリアに保存する。あるいは、第一撮影データにおける上書き禁止とする区間を他の装置に送信して保存する。

再生制御部１２４は、記録部２４０に記録された撮影データを再生する制御を行う。再生制御部１２４は、記録部２４０に記録された、上書き可能な撮影データの再生に加えて、上書き禁止となっているイベント記録データの再生を行い、表示制御部１２６に出力する。

再生制御部１２４は、顔検出部１２９による検出結果に基づき、直近に保存されたイベント記録データの再生を開始する。また、再生制御部１２４は、操作部２５０で受け付けられた再生指示に基づき、各種撮影データの再生を行う。

操作制御部１２５は、操作部２５０が受け付けた操作情報を取得し、操作情報に基づいた操作指示を、各構成要素に出力する。操作制御部１２５は、操作部２５０から再生対象となる各種データの選択指示を取得した場合、再生制御部１２４に記録部２２０に記録されているファイルなどを選択させる。操作制御部１２５は、操作部２５０から各種データの再生に関する指示を取得した場合、再生制御部１２４に再生に関する処理を行わせる。各種データの再生に関する指示とは、例えば、再生開始、一時停止、再生停止、拡大表示などである。

表示制御部１２６は、表示部２６０に対し、様々な情報を表示させる制御を行う。例えば、表示制御部１２６は、第一カメラ２１０が撮影中の第一映像データを表示部２６０に表示させる。また、表示制御部１２６は、再生制御部１２４によって再生された記録部２４０に保存されているイベント記録データを表示部２６０に表示させる。また、表示制御部１２６は、表示部２６０が操作部２５０としてのタッチパネル機能を備えている場合、タッチ操作を行うアイコンなどを表示部２６０に表示させる。

イベント検出部１２７は、加速度センサであるセンサ２７０が検出している加速度情報を取得し、イベントに該当する加速度が検出された場合、イベントが検出されたと判断する。イベント検出部１２７は、イベントが検出されたと判断された場合、記録制御部１２３にイベントが検出された情報を出力する。

イベント検出部１２７は、センサ２５０から出力された加速度が、車両と、例えば他の車両などの他の物体が衝突したときの加速度に該当する加速度を、イベントに該当する加速度として検出する。イベントに該当する加速度の検出は、ｘ軸方向、ｙ軸方向およびｚ軸方向の各々で重み付けを行ってもよい。また、イベントに該当する加速度の検出は、加速度の立ち上がりが急峻な加速度を検出対象としてもよい。

移動情報取得部１２８は、ＧＰＳ受信部２８０が受信したＧＰＳ衛星からの信号に基づき、時刻毎の現在位置を特定し、時刻毎の現在位置情報を記録制御部１２３に出力する。移動情報取得部１２８は、現在位置情報として、緯度経度を特定する。移動情報取得部１２８は、ＧＰＳ受信部２８０からの信号に加えて、Ｗｉ−Ｆｉ（登録商標）などの電波を受信し、アクセスポイントの位置情報などを併用して現在位置を特定してもよい。

顔検出部１２９は、第二カメラ２２０が撮影して、撮影データ取得部１２０が取得した第二撮影データから、人の顔を検出する。顔検出部１２９は、パターンマッチングなど任意の手法を用いる。

顔検出部１２９は、第二撮影データから検出した人の顔が、表示部２６０の表示面２６１に近接したか否かを判断する。言い換えると、第二撮影データから検出した人の顔が、表示部２６０を構成する表示面２６１に近接したか否かを判断する。顔検出部１２９は、第二撮影データにおける、人の顔または人の顔を構成する構成物の距離に基づいて、人の顔が表示部２６０の表示面２６１に近接したか否かを判断する。このような判断の場合、直接的には、第二カメラ２２０と人の顔との距離を検出しているが、図３に示すように、表示部２６０の表示面２６１と第二カメラ２２０とは、記録再生装置１０の筐体における同一またはほぼ同一の面に近接して配置されている。このため、顔検出部１２９は、第二カメラ２２０と人の顔との距離を、表示部２６０の表示面２６１と人の顔との距離として判断する。また、表示部２６０の表示面２６１と人の顔との距離は、検出された人の顔によって誤差が生じるが、第二撮影データから検出した人が、表示部２６０の表示面２６１を注視するために近接したことが判断できればよい。

また、顔検出部１２９は、第二撮影データから検出した人の顔における目の開度を検出する。言い換えると、顔検出部１２９は、第二撮影データから検出した人の顔が、単にその位置に人が存在するのみであるのか、表示部２６０の表示面２６１を注視しているかの判断を、目の開度に基づき判断する。顔検出部１２９は、目の開度を、上下まぶたの間隔から検出する。

また、顔検出部１２９は、第二撮影データから検出した人の顔における視線を検出する。言い換えると、顔検出部１２９は、第二撮影データから検出した人の顔から目の部分を認識し、認識した目における黒目の位置関係などから、第二撮影データから検出した人が表示部２６０の表示面２６１に視線が向いているか否かを判断する。また、第二カメラ２２０が赤外線領域を撮影するカメラである場合は、瞳孔や角膜の反射に基づいて、視線を検出する。

また、顔検出部１２９は、第二撮影データから検出した人の顔が、予め登録された人の顔であるか否かを判断してもよい。予め登録された人とは、例えば、車両の運転者、同乗者などであり、車両の運行前に予め登録してもよく、車両の運行中に自動的に登録されてもよい。言い換えると、顔検出部１２９は、予め登録された人が、表示部２６０の表示面２６１を注視しているか否かを判断する。顔検出部１２９は、第二撮影データから同時に複数の顔が検出された場合、検出された複数の顔のうち、少なくともひとつが予め登録された人の顔である場合、予め登録された人の顔が検出されたとしてもよい。

次に、図４を用いて、第一撮影データとイベント記録データとの関係を説明する。図４は、撮影データとイベントデータとの関係を概念的に示す図である。図４の横軸は時間の経過を示しており、右方向に向けて時間が経過していることを示す。

図４（ａ）は、撮影データ取得部１２０が第一カメラ２１０から取得して、バッファメモリ１２１に一時的に記憶している第一撮影データを示している。図４（ａ）の点線は、時間軸に記載された時刻ｔ−３から時刻ｔ＋２に対応しており、撮影データ処理部１２２がファイルを生成するための期間を示している。バッファメモリ１２１に一時的に記憶されている状態では、ファイルは生成されていないため、点線で表示する。

図４（ｂ）は、撮影データ処理部１２２が、バッファメモリ１２１に一時的に記憶している第一撮影データをファイル化して、記録制御部１２３が記録部２４０に記録した第一撮影データを示している。例えば、撮影データＤ−３は、時刻ｔ−３から時刻ｔ−２の間に撮影された撮影データであり、ファイル化されて記録部２４０に上書き可能な状態で記録されている。また、撮影データＤ−２も同様に、時刻ｔ−２から時刻ｔ−１の間に撮影された撮影データであり、ファイル化されて記録部２４０に上書き可能な状態で記録されている。

例えば、記録部２４０の記録容量が上限となった場合、図４（ｂ）に示されている第一撮影データにおいては、撮影データＤ−３の前の撮影データが上書きされ、その次に撮影データＤ―３が上書きされ、その次に撮影データＤ−２が上書きされる。

例えば、時刻ｔ−１から時刻ｔまでの間の時刻Ｔ１でイベントが検出された場合、イベント発生時刻である時刻Ｔ１の所定時間前から時刻Ｔ１の所定時間経過後までの期間における第一撮影データを、イベント記録データとして保存する。所定時間とは、例えば、イベント発生時刻である時刻Ｔ１の３０秒前から時刻Ｔ１の３０秒後までなどであるが、これに限定はされない。

一例としては、時刻ｔ−１から時刻ｔまでの間の時刻Ｔ１でイベントが検出された場合、記録制御部１２３は、撮影データＤ−１を、記録部２４０の上書き禁止エリアにイベント記録データＤ−１´として保存する。

例えば、記録部２４０の記録容量が上限となった場合、図４（ｂ）に示されている第一撮影データにおいては、撮影データＤ−１は撮影データＤ−２に続き上書きされてしまうが、撮影データＤ−１は、図４（ｃ）に示されている記録部２４０の上書き禁止エリアに撮影データＤ−１´として保存されているため、確実に保存される。

時刻ｔ−１から時刻ｔまでの期間の第一撮影データがファイル化され、記録部２４０の上書き禁止エリアに保存された撮影データＤ−１´は、イベント発生時点である時刻Ｔ１を含むイベント記録データである。イベント記録データは、イベント発生時点を含むファイルとして生成された期間の第一撮影データに限定されない。イベント記録データは、例えば、イベント発生時刻である時刻Ｔ１の所定時間前から時刻Ｔ１の所定時間経過後までの期間における撮影データを、イベント記録データとして保存することとしてもよい。所定時間とは、例えば３０秒などであるが、これに限定はされない。

また、イベント記録データの保存は、記録部２４０の上書き禁止エリアへの保存に限らない。例えば、図示しない通信機能を用いて、予め登録された他の装置が備える記録部に記録することとしてもよい。具体例としては、記録再生装置１０と予めペアリングされ通信が確立されている、運転者や同乗者の保有するスマートフォンへ、イベント記録データを送信してもよい。または、記録再生装置１０に予め登録されている、運転者や運転者の関係者、さらには、保険会社や安全保障会社などが保有するサーバ等の装置へ、イベント記録データを送信してもよい。

上述した、第一撮影データおよびイベント記録データのいずれにおいても、移動情報取得部１２８が取得した位置情報を対応付けて記録されることが好ましい。

次に、図５を用いて、記録再生装置１０が実行する記録再生処理の流れについて説明する。記録再生装置１０が実行する記録再生処理は、記録再生装置として動作するコンピュータとしての制御部１００が、プログラムに基づき実行する。制御部１００の機能は、複数の装置または複数のユニットが備える制御装置が分散して実行してもよい。その場合、プログラムも装置毎、またはユニット毎に連携して実行される。

図５で、処理の開始とは、例えば、移動体である車両のエンジンまたは電源等がオンとなることで、記録再生装置１０が動作可能となることである。処理の開始は、操作部２５０において記録再生処理の開始が指示されることによって開始されてもよい。

処理の開始に伴い、記録再生装置１０は、撮影データの記録とイベントの検出を開始する。撮影データの記録の開始とは、撮影データ取得部１２０による第一カメラ２１０からの第一撮影データの取得、撮影データ処理部１２２による第一撮影データのファイル化、記録制御部１２３による第一撮影データの記録部２４０への記録が開始されることである。この場合の第一撮影データの記録は、記録部２４０に上書き可能な状態で記録され、通常記録またはループ記録とも呼ばれる。また、イベントの検出開始とは、イベント検出部１２７がセンサ２７０からの加速度情報の取得を開始し、取得した加速度情報に基づいてイベントの検出を開始することである。

また、図５に示す各処理が実行されている間は、第一撮影データの記録、加速度情報の取得によるイベント検出、移動情報取得部１２８による現在位置情報の特定は継続して実行されている。

ステップＳ１０１において、イベント検出部１２７は、イベントが検出されたか否かを判断する。イベント検出部１２７は、センサ２７０が検出した加速度が、例えば、車両に対する物体の衝突に該当するような加速度である場合に、イベントが検出されたと判断する。車両に対する物体の衝突に該当するような加速度とは、加速度の絶対値が所定の閾値以上の加速度である場合や、加速度の絶対値が所定の閾値以上の立ち上がりの急峻な加速度などである。

ステップＳ１０１において、イベントが検出されたと判断された場合（ステップＳ１０１：Ｙｅｓ）、記録制御部１２３は、ステップＳ１０１で検出されたイベントの発生時点を含む第一撮影データを、イベント記録データとして保存する（ステップＳ１０２）。記録制御部１２３は、イベントの発生時点を含む第一撮影データを、例えば、図４に示すように、記録部２４０の上書き禁止エリアに保存する。

ステップＳ１０１において、イベントが検出されていないと判断された場合（ステップＳ１０１：Ｎｏ）、ステップＳ１０７に推移する。

ステップＳ１０２において、イベント記録データが保存された場合、記録制御部１２３は、ステップＳ１０２でイベント記録データが保存されてから第一期間経過したか否かを判断する（ステップＳ１０３）。ステップＳ１０３の処理は、イベントが検出されてから第一期間経過したか否かの判断としてもよい。第一期間とは、事故等のイベントが発生した後に、そのイベントに対応するイベント記録データを、事故等の当事者や関係者が再生して確認しようとする期間を含む期間であることが好ましい。言い換えると、イベント記録データが保存されてから第一期間を超えるまで再生要求がないということは、そのイベント記録データは、事故によるものではないために、再生して確認することを要さないイベント記録データであるということがいえる。第一期間は、例えば１０分などである。

ステップＳ１０３において、記録制御部１２３が、第一期間が経過していないと判断した場合（ステップＳ１０３：Ｎｏ）、顔検出部１２９は、第二カメラ２２０が撮影した第二撮影データから人の顔が検出されたか否かを判断する（ステップＳ１０４）。言い換えると、イベント記録データが保存されてから、またはイベントが発生したときから第一期間、顔検出部１２９は、第二カメラ２２０が撮影した第二撮影データから人の顔を検出する。

第二カメラ２２０を、上述した用途で用いる場合、第二カメラ２２０および顔検出部１２９は、常時動作していなくともよい。例えば、イベント検出部１２７がイベントを検出したときに、第二カメラ２２０が撮影を開始し、顔検出部１２９が顔の検出を開始してもよい。

ステップＳ１０４において、顔検出部１２９が人の顔を検出しなかった場合（ステップＳ１０４：Ｎｏ）、ステップＳ１０３に推移し、第一期間が経過したか否かを判断する。ステップＳ１０３において、記録制御部１２３が、第一期間が経過したと判断した場合（ステップＳ１０３：Ｙｅｓ）、言い換えると、第一期間の間に人の顔が検出されなかったと判断された場合、ステップＳ１０７に推移する。

ステップＳ１０４において、顔検出部１２９が、第一期間内に人の顔を検出した場合（ステップＳ１０４：Ｙｅｓ）、再生制御部１２４は、ステップＳ１０１で検出されたイベントに基づいて、ステップＳ１０２で保存されたイベント記録データの再生を行う（ステップＳ１０５）。言い換えると、第一期間内に人の顔が検出された場合（ステップＳ１０４：Ｙｅｓ）、第一期間が計時される直前のイベント発生によって生成されたイベント記録データが再生される。

ステップＳ１０５においては、再生制御部１２４は、記録部２４０に保存されたイベント記録データを再生し、再生されたイベント記録データは、表示制御部１２６の制御によって表示部２６０に表示される。

ステップＳ１０５で、イベント記録データが再生された後、記録制御部１２３はイベント記録データの再生が終了したか否かを判断する（ステップＳ１０６）。ステップＳ１０６の判断は、再生対象となっているイベント記録データのすべての再生が終了した場合や、操作部２５０が再生終了操作を受け付けた場合などで判断される。ステップＳ１０６において、イベント記録データの再生が終了したと判断された場合（ステップＳ１０６：Ｙｅｓ）、ステップＳ１０７に推移する。

ステップＳ１０５で、再生対象となっているイベント記録データの再生が開始した後、再生制御部１２４は、再生対象となっているイベント記録データを、操作部２５０が再生終了操作を受け付けるまで、繰り返し再生を行ってもよい。

ステップＳ１０７の処理は、ステップＳ１０１がＮｏの場合、ステップＳ１０３がＹｅｓの場合またはステップＳ１０６がＹｅｓの場合、記録制御部１２３は、第一撮影データの記録が終了したか否かを判断する。ステップＳ１０７における記録の終了とは、例えば、移動体である車両のエンジンまたは電源等がオフとなることで、記録再生装置１０の動作が終了した場合などである。記録の終了は、操作部２５０において記録再生処理の終了が指示されることによって終了してもよい。

このような処理によって、イベント記録データの再生を行うことで事故等のイベントの状況を確認したいユーザが、記録再生装置１０の機能を熟知していない場合であっても、容易且つ迅速に、イベント記録データとして記録された映像を確認することができる。

第１実施形態の変形例としては、ステップＳ１０４において、顔検出部１２９は、表示部２６０の表示面２６１に近接した人の顔を検出した場合に、人の顔が検出されたと判断してもよい。記録再生装置１０がドライブレコーダである場合、第二カメラ２２０は、車両の運転者や同乗者の方向を向いて設置される。このため、表示部２６０に表示されるイベント記録データを確認したい場合、記録再生装置１０に顔を近接させる、または記録再生装置１０を車両から取り外して、記録再生装置１０を顔に近接させる。

このような処理を行うことで、イベント記録データの再生を行うことで事故等のイベントの状況を確認したいユーザに、より適切にイベント記録データとして記録された映像を確認させることができる。

顔検出部１２９は、例えば、第二撮影データから検出した人の顔が、表示部２６０の表示面２６１に約５０ｃｍ程度より近づいたと判断した場合に、第二撮影データから検出した人の顔が、表示部２６０の表示面２６１に近接したとする。近接したと判断する距離は、表示部２６０の表示面２６１、つまり表示パネルのサイズによって変更されてもよい。また、近接したと判断する距離は、表示面２６１を注視しない人と表示面２６１を注視する人とを区別できる距離であればよい。

さらには、顔検出部１２９は、ステップＳ１０４で検出する人の顔が、正面視またはほぼ正面視である場合に、人の顔が検出されたと判断してもよい。例えば、表示部２６０の表示面２６１に近接している人の顔が検出されたとしても、イベント記録データの確認を目的としていない場合を除外できる。顔検出部１２９は、検出した人の顔における顔の輪郭と両目の位置を検出し、それらの位置関係によって、正面視またはほぼ正面視であるか否かを判断する。

次に、図６を参照して、本発明の第２実施形態を説明する。第２実施形態に係る記録再生装置１０の構成や、処理の多くは、第１実施形態と共通するため、説明を省略する。

図６は、記録再生装置１０が実行する第２実施形態に係る処理例を示すフローチャートである。図５に示す処理と図６に示す処理においては、ステップＳ１０１とステップＳ１１１、ステップＳ１０２とステップＳ１１２、ステップＳ１０３とステップＳ１１３、ステップＳ１０５とステップＳ１１６、ステップＳ１０６とステップＳ１１７、ステップＳ１０７とステップＳ１１８の処理は共通するため、説明を省略する。

ステップＳ１１４において、顔検出部１２９は、第二撮影データから人の顔を検出するとともに検出された人の顔における目を特定し、特定された目の開度を取得する。ここで検出する目の開度は、目が閉じているか、目が開いているかが判断できる程度でよい。

ステップＳ１１４において、顔検出部１２９が、第一期間内に人の顔を検出した場合（ステップＳ１１４：Ｙｅｓ）、顔検出部１２９は、検出された顔における目の開度が所定以上であるか否かを判断する（ステップＳ１１５）。ステップＳ１１５の判断は、目の開度に基づき、目が開いているか閉じているかの判断としてもよい。

ステップＳ１１５において、検出された顔における目の開度が所定以上である、または、目が開いていると判断された場合（ステップＳ１１５：Ｙｅｓ）、ステップＳ１１６に推移する。ステップＳ１１５において、検出された顔における目の開度が所定未満である、または目が閉じていると判断された場合（ステップＳ１１５：Ｎｏ）、ステップＳ１１３に推移する。ステップＳ１１５がＮｏである場合であっても、操作部２５０が再生開始指示を受け付けた場合は、イベント記録データの再生が開始される。

このような処理を行うことで、イベント記録データの再生を行うことで事故等のイベントの状況を確認したいユーザに、より適切にイベント記録データとして記録された映像を確認させるとともに、検出された顔の人物が、イベント記録データの確認を目的としていない場合を除外できる。

次に、図７を参照して、本発明の第３実施形態を説明する。第３実施形態に係る記録再生装置１０の構成や、処理の多くは、第１実施形態と共通するため、説明を省略する。

図７は、記録再生装置１０が実行する第３実施形態に係る処理例を示すフローチャートである。図５に示す処理と図７に示す処理においては、ステップＳ１０１とステップＳ１２１、ステップＳ１０２とステップＳ１２２、ステップＳ１０３とステップＳ１２３、ステップＳ１０５とステップＳ１２６、ステップＳ１０６とステップＳ１１７、ステップＳ１０７とステップＳ１２８の処理は共通するため、説明を省略する。

ステップＳ１２４において、顔検出部１２９が、第一期間内に人の顔を検出した場合（ステップＳ１２４：Ｙｅｓ）、顔検出部１２９は、検出された顔が、予め登録された人の顔であるか否かを判断する（ステップＳ１２５）。

ステップＳ１２５において、検出された顔が、予め登録された顔であると判断された場合（ステップＳ１２５：Ｙｅｓ）、ステップＳ１２６に推移する。ステップＳ１２５において、検出された顔が、予め登録された顔ではないと判断された場合（ステップS１２５：Ｎｏ）、ステップＳ１２３に推移する。ステップＳ１２５がＮｏである場合であっても、操作部２５０が再生開始指示を受け付けた場合は、イベント記録データの再生が開始される。

このような処理を行うことで、記録再生装置１０を装着している車両の運転者など予め登録された人が、イベント記録データの再生を行うことで事故等のイベントの状況を確認したい場合に、より適切にイベント記録データとして記録された映像を確認することができる。例えば、記録再生装置１０を装着している車両が、事故の当事者である場合に、必ず当事者である車両の運転者または運転者を含めた形で、イベント記録データを確認することができ、当事者を含まない状態での事故分析が行われることを防止することができる。

図７で説明した第３実施形態は、顔検出部１２９がステップＳ１２４で複数の人の顔を検出した場合においても適用可能である。例えば、ステップＳ１２４で複数の人の顔を検出した場合、ステップＳ１２５で、複数の人の顔に予め登録された人の顔が含まれているか否かを判断する。ステップＳ１２５において、予め登録された人の顔が含まれている場合（ステップＳ１２５：Ｙｅｓ）、ステップＳ１２６に推移し、予め登録された人の顔が含まれていない場合（ステップＳ１２５：Ｎｏ）、ステップＳ１２３に推移する。

このような処理を行うことで、記録再生装置１０を装着している車両の運転者など予め登録された人が、イベント記録データの再生を行うことで事故等のイベントの状況を確認したい場合に、より適切にイベント記録データとして記録された映像を確認することができる。例えば、記録再生装置１０を装着している車両が、事故の当事者である場合に、必ず当事者である車両の運転者を含めた形で、イベント記録データを確認することができ、当事者を含まない状態での事故分析が行われることを防止することができる。

次に、図８から図１０を参照して、本発明の第４実施形態を説明する。第４実施形態に係る記録再生装置１０は、複数の装置で構成される。図８は、本発明の第４実施形態に係る記録再生装置の構成を概念的に示す図であり、記録再生装置４０は、車両側装置１１と携帯端末５０とで構成される。記録再生装置４０の構成は、同様の機能を備えた装置の組み合わせであれば、本実施形態の構成に限定されない。

図８において、車両側装置１１は、図２および図３に示す記録再生装置１０と同様である。車両側装置１１は、ドライブレコーダとして、車両のウィンドシールド上部に車両の前方を向いて装着された場合、図２における第一カメラ４１０は、車両のウィンドシールドを介して車両の周囲である前方を撮影可能である。携帯端末５０は、第二カメラ５１０と第二表示部５６０の表示面５６１とが、携帯端末５０の筐体における同一またはほぼ同一の面に近接して配置されている。

車両側装置１１と携帯端末５０とは、無線通信によって接続されている。車両側装置１１と携帯端末５０とは、少なくとも、車両側装置１１で生成されたイベント記録データが、無線通信を用いて携帯端末５０に送信される。このため、車両側装置１１と携帯端末５０とは、ペアリング等、予め通信が確立されるための処理が行われている。

図９は、本発明の第４実施形態に係る記録再生装置を構成する車両側装置の構成を示すブロック図である。図１に示す記録再生装置１０として機能するドライブレコーダとの差異は、車両側装置１１には、第二カメラおよび顔検出部を備えられていなくともよく、携帯端末５０と通信する第一通信制御部４３０および第一通信部４９０を備える点である。図９における他の構成は、図１に示す構成と共通する。

図１０は、本発明の第４実施形態に係る記録再生装置を構成する携帯端末の構成を示すブロック図である。携帯端末５０には、第二カメラ５１０、顔検出部５２９および車両側装置１１と通信する第二通信制御部５３０および第二通信部５９０を備える。

図１０において、第二カメラ５１０は、第二表示部５６０の表示面５６１に対向する方向を撮影する。図１０における各構成は、図１に示す構成と同様である。

図８から図１０で示した記録再生装置４０による処理例を、図５の例を用いて説明する。図５に基づく記録再生装置４０による処理においては、第１実施形態と共通する処理については説明を省略する。また、記録再生装置４０による処理は、第１実施形態のみに限らず、他の実施形態にも適用可能である。記録再生装置４０による処理の開始時には、車両側装置１１と携帯端末５０とは、ペアリング等が行われ、通信可能な状態である。

ステップＳ１０１において、車両側装置１１のイベント検出部４２７が、イベントが検出されたと判断された場合（ステップＳ１０１：Ｙｅｓ）、ステップＳ１０２に該当する処理として、記録制御部４２３は、ステップＳ１０１で検出されたイベントの発生時点を含む第一撮影データを、イベント記録データとして第一通信部４９０を用いて携帯端末５０に送信する。また、携帯端末５０においては、記録制御部５２３は、第二通信部５９０で受信したイベント記録データを、記録部５４０に保存する。

ステップＳ１０２において、イベント記録データが携帯端末５０の記録部５４０に保存された場合、記録制御部５２３は、ステップＳ１０２でイベント記録データが保存されてから第一期間経過したか否かを判断する（ステップＳ１０３）。

ステップＳ１０３において、記録制御部５２３が、第一期間が経過していないと判断した場合（ステップＳ１０３：Ｎｏ）、携帯端末５０の顔検出部５２９は、第二カメラ５１０が撮影した第二撮影データから人の顔が検出されたか否かを判断する（ステップＳ１０４）。言い換えると、イベント記録データが保存されてから、またはイベントが発生したときから第一期間、顔検出部５２９は、第二カメラ５１０が撮影した第二撮影データから人の顔を検出する。

第二カメラ５１２を、上述した用途で用いる場合、第二カメラ５１０および顔検出部５２９は、常時動作していなくともよい。例えば、第二通信部５４０がイベント記録データを受信したときや、記録制御部５２３がイベント記録データを保存したときに、第二カメラ５１０が撮影を開始し、顔検出部５２９が顔の検出を開始してもよい。

ステップＳ１０４において、顔検出部５２９が、第一期間内に人の顔を検出した場合（ステップＳ１０４：Ｙｅｓ）、再生制御部５２４は、車両側装置１１から受信して記録部５４０に保存したイベント記録データの再生を行う（ステップＳ１０５）。再生制御部５２４で再生されたイベント記録データは、携帯端末５０の第二表示部５６０に表示される。言い換えると、第一期間内に携帯端末５０の前で人の顔が検出された場合（ステップＳ１０４：Ｙｅｓ）、第一期間が計時される直前のイベント発生によって生成されたイベント記録データが、携帯端末５０で再生される。

このような処理によって、イベント記録データの再生を行うことで事故等のイベントの状況を確認したいユーザが、記録再生装置１０の機能を熟知していない場合であっても、例えば携帯端末５０などの他の装置を用いて、容易且つ迅速に、イベント記録データとして記録された映像を確認することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、ステップＳ１０３等の処理において、第一期間を、例えば１０分などの固定値として説明したが、第一期間は条件に応じて変動する期間であってもよい。また、事故の大きさによっては、顔が予め登録されている運転者や同乗者が、事故の検証に加わることができない場合がある。このような場合は、通常の操作によってイベント記録データの再生を行うことができる。

また、上述した処理をコンピュータに実行させるためのプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、記録再生装置として動作するコンピュータに供給することができる。

１０、４０ 記録再生装置
１１ 車両側装置
５０ 携帯端末
１００，４００、５００ 制御部
１１０、４１０、５１０ バスライン
１２０、４２０、５２０ 撮影データ取得部
１２１、４２１ バッファメモリ
１２２、４２２ 撮影データ処理部
１２３、４２３、５２３ 記録制御部
１２４、４２４、５２４ 再生制御部
１２５、４２５、５２５ 操作制御部
１２６、４２６、５２６ 表示制御部
１２７、４２７ イベント検出部
１２８、４２８ 移動情報取得部
１２９、５２９ 顔検出部
２１０、４１０ 第一カメラ
２２０、５１０ 第二カメラ
２４０、５４０ 記録部
２５０、５５０ 操作部
２６０、４６０ 表示部
２６１ 表示面
２７０、４７０ センサ
２８０、４８０ ＧＰＳ受信部
４００ 第一制御部
４３０ 第一通信制御部
４９０ 第一通信部
５００ 第二制御部
５３０ 第二通信制御部
５６０ 第二表示部
５６１ 表示面
５９０ 第二通信部

Claims (9)

1. 移動体の周囲を撮影する第一カメラが撮影した第一撮影データ、および表示部の表示面に対向する方向を撮影する第二カメラが撮影した第二撮影データを取得する撮影データ取得部と、
   前記移動体に対するイベントを検出するイベント検出部と、
   前記イベント検出部がイベントを検出した場合、少なくともイベントの発生時点を含む第一撮影データをイベント記録データとして保存する記録制御部と、
   前記第二撮影データから人の顔を検出する顔検出部と、
   前記イベント記録データの保存後、所定期間内に前記顔検出部が人の顔を検出した場合、前記イベント記録データを再生する再生制御部と、
   前記再生制御部が再生した前記イベント記録データを前記表示部に表示させる表示制御部と、
   を備える記録再生装置。
2. 前記顔検出部は、検出した人の顔が前記表示部の表示面に近接したか否かを検出し、
   前記再生制御部は、イベント記録データの保存後、所定期間内に前記顔検出部が人の顔が前記表示の表示面に近接したと判断した場合、前記イベント記録データの再生を行う、
   請求項１に記載の記録再生装置。
3. 前記顔検出部は、検出した人の顔における目の開度をさらに検出し、
   前記再生制御部は、イベント記録データの保存後、所定期間内に前記顔検出部が目の開度が所定以上の顔を検出した場合、前記イベント記録データの再生を行う、
   請求項１または２に記載の記録再生装置。
4. 前記顔検出部は、検出した人の顔における視線をさらに検出し、
   前記再生制御部は、イベント記録データの保存後、所定期間内に前記表示部の表示面に視線が向いたことを検出した場合、前記イベント記録データの再生を行う、
   請求項１から３のいずれか１項に記載の記録再生装置。
5. 前記顔検出部は、予め登録された人の顔を検出し、
   前記再生制御部は、イベント記録データの保存後、所定期間内に前記顔検出部が予め登録された人の顔を検出した場合、前記イベント記録データの再生を行う、
   請求項１から４のいずれか１項に記載の記録再生装置。
6. 前記再生制御部は、イベント記録データの保存後、所定期間内に前記顔検出部が予め登録された人の顔を含む複数の顔を検出した場合、前記イベント記録データの再生を行う、
   請求項５に記載の記録再生装置。
7. 前記撮影データ取得部は、前記イベント検出部がイベントを検出した場合に、前記第二カメラが撮影した第二撮影データを取得する、
   請求項１から６のいずれか１項に記載の記録再生装置。
8. 移動体の周囲を撮影する第一カメラが撮影した第一撮影データを取得する第一撮影データ取得ステップと、
   前記移動体に対するイベントを検出するイベント検出ステップと、
   イベントが検出された場合、少なくともイベントの発生時点を含む第一撮影データをイベント記録データとして保存する記録ステップと、
   表示部の表示面に対向する方向を撮影する第二カメラが撮影した第二撮影データを取得する第二撮影データ取得ステップと、
   前記第二撮影データから人の顔を検出する顔検出ステップと、
   前記記録ステップにおけるイベント記録データの保存後、所定期間内に人の顔が検出された場合、前記イベント記録データを再生する再生ステップと、
   前記再生ステップにおいて再生された前記イベント記録データを前記表示部に表示させる表示ステップと、
   を含む記録再生方法。
9. 移動体の周囲を撮影する第一カメラが撮影した第一撮影データを取得する第一撮影データ取得ステップと、
   前記移動体に対するイベントを検出するイベント検出ステップと、
   イベントが検出された場合、少なくともイベントの発生時点を含む第一撮影データをイベント記録データとして保存する記録ステップと、
   表示部の表示面に対向する方向を撮影する第二カメラが撮影した第二撮影データを取得する第二撮影データ取得ステップと、
   前記第二撮影データから人の顔を検出する顔検出ステップと、
   前記記録ステップにおけるイベント記録データの保存後、所定期間内に人の顔が検出された場合、前記イベント記録データを再生する再生ステップと、
   前記再生ステップにおいて再生された前記イベント記録データを前記表示部に表示させる表示ステップと、
   を記録再生装置として動作するコンピュータに実行させるためのプログラム。

Images