JP4770178B2 - カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 - Google Patents

Description

本発明は、撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するカメラ制御装置、このカメラ制御装置を備えたカメラシステムおよび電子会議システム、およびカメラ制御方法に関し、特に、カメラの撮像方向を変える操作の利便性を高めたカメラ制御装置、カメラシステム、電子会議システム、およびカメラ制御方法に関する。

近年、会議における集音音声および撮像画像の信号を通信回線を通じて互いに送受信することで、遠隔地で会議を行うことが可能なテレビ会議システムが注目されている。このようなシステムでは、発言している人を撮像してその画像信号を相手側に送信できることが望ましいが、そのためには、人の操作によりカメラを切り替えたり、あるいは発言者側にカメラを向ける必要があった。

一方、画像信号から人物などを自動認識する技術が様々な装置に利用されている。例えば、カメラによる撮像信号のうち、時間的に隣接する２つのフレーム間の差分から人物などの動体を検出し、カメラの撮像方向を動かしてその動体を追尾するようにした動体画像監視装置があった（例えば、特許文献１参照）。また、撮像範囲内の人物の顔を検出して追尾するとともに、その顔の特徴情報を記憶しておき、その後に撮像された人物の特徴情報と記憶された特徴情報とを比較して、危険人物に対して警報できるようにした撮影装置もあった（例えば、特許文献２参照）。
特開２００３−２１９２２５号公報（段落番号〔０００９〕〜〔００１１〕、図２） 特開２０００−１６３６００号公報（段落番号〔００９８〕〜〔０１０３〕、図１８）

ところで、上述したテレビ会議システムでは、簡単な操作で、あるいは自動的に発言者を撮像して、その画像信号を相手側に送信できることが望ましい。そのためには、撮像方向を変化させるための機構を備えたカメラを用い、電子制御により発言者の方向にカメラを向けるシステムを構築すればよい。しかし、カメラの撮像方向やズーム倍率を徐々に変化させる操作手法では、撮像方向を素早く移動させ、発言者を画面中央に確実に映すためには操作者の負担が大きいという問題があった。また、発言者の位置情報をあらかじめ記憶させておき、ボタン操作などによりその位置情報を読み出すことでそれぞれの発言者を自動的に撮像する構成とすれば、操作が簡単になる。しかしそのためには、システムの使用前に発言者の位置をあらかじめ記憶させる必要があり、操作が面倒であるという問題があった。

本発明はこのような点に鑑みてなされたものであり、人物ごとの撮像方向の登録操作を行うことなく、簡単な操作で複数のうちの１人の人物をカメラにより確実に撮像させることが可能なカメラ制御装置を提供することを目的とする。

また、本発明の他の目的は、人物ごとの撮像方向の登録操作を行うことなく、簡単な操作で複数のうちの１人の人物をカメラにより確実に撮像させることが可能なカメラシステムを提供することである。

さらに、本発明の他の目的は、人物ごとの撮像方向の登録操作を行うことなく、簡単な操作で複数のうちの１人の人物をカメラにより確実に撮像させることが可能なカメラシステムを備えた電子会議システムを提供することである。

また、本発明の他の目的は、人物ごとの撮像方向の登録操作を行うことなく、簡単な操作で複数のうちの１人の人物をカメラにより確実に撮像させることが可能なカメラ制御方法を提供することである。

本発明では上記課題を解決するために、撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するカメラ制御装置において、前記カメラの撮像対象とする複数の人物のそれぞれの顔が、前記カメラによる撮像範囲の中央に位置するときの顔方向情報を、撮像対象の人物ごとに記憶する記憶手段と、前記カメラの撮像画像信号から人物の顔の位置を検出する顔位置検出手段と、前記顔位置検出手段による検出結果と現在の前記カメラの撮像方向を示す情報とを基に前記顔方向情報を算出して前記記憶手段に登録する登録手段と、ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記記憶手段から読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御手段とを有し、前記顔方向情報は、水平方向の角度を示す角度情報を含み、前記駆動制御手段は、前記カメラの撮像方向を現在撮像されている人物の左右いずれかの隣接人物に切り替えるための方向指示信号を受信すると、前記方向指示信号で指示された方向に対して前記カメラによる現在の撮像方向に最も近い角度情報を含む第１の顔方向情報を前記記憶手段から抽出し、抽出した前記第１の顔方向情報に含まれる角度情報と前記現在の撮像方向についての左右方向の角度との差分と所定のしきい値とを比較し、前記差分が前記しきい値より大きい場合には、前記第１の顔方向情報を用いて前記駆動装置を制御し、前記差分が前記しきい値以下である場合には、前記方向指示信号で指示された方向に対して前記現在の撮像方向に２番目に近い角度情報を含む第２の顔方向情報を前記記憶手段から抽出し、抽出した前記第２の顔方向情報を用いて前記駆動装置を制御することを特徴とするカメラ制御装置が提供される。

このようなカメラ制御装置では、撮像対象とする各人物に対応する顔方向情報を記憶手段が記憶し、駆動制御手段が、ユーザの操作入力により指定された人物に対応する顔方向情報を記憶手段から読み出し、その顔方向情報に応じて駆動装置を制御する。これにより、ユーザ操作により例えば人物を指定するだけで、指定された人物の顔が画面の中央に位置するように自動的にカメラの撮像方向が変化する。また、顔位置検出手段がカメラの撮像画像信号から人物の顔の位置を検出し、その検出結果と現在のカメラの撮像方向を示す情報とを基に登録手段が顔方向情報を算出して、記憶手段に登録する。これにより、撮像された人物に対応する顔方向情報が記憶手段に自動的に登録される。さらに、顔方向情報は、水平方向の角度を示す角度情報を含む。そして、駆動制御手段は、カメラの撮像方向を現在撮像されている人物の左右いずれかの隣接人物に切り替えるための方向指示信号を受信すると、方向指示信号で指示された方向に対してカメラによる現在の撮像方向に最も近い角度情報を含む第１の顔方向情報を記憶手段から抽出する。ここで、駆動制御手段は、抽出した第１の顔方向情報に含まれる角度情報と現在の撮像方向についての左右方向の角度との差分と所定のしきい値とを比較し、差分がしきい値より大きい場合には、第１の顔方向情報を用いて駆動装置を制御する一方、差分がしきい値以下である場合には、方向指示信号で指示された方向に対して現在の撮像方向に２番目に近い角度情報を含む第２の顔方向情報を記憶手段から抽出して、抽出した第２の顔方向情報を用いて駆動装置を制御する。

また、本発明では、撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するためのカメラ制御方法において、検出手段が、前記カメラの撮像画像信号から人物の顔の位置を検出する検出ステップと、登録手段が、前記検出ステップによる検出結果と現在の前記カメラの撮像方向を示す情報とを基に、前記カメラの撮像対象とする複数の人物のそれぞれの顔が前記カメラによる撮像範囲の中央に位置するときの顔方向情報を算出し、検出された人物ごとにデータベースに登録する登録ステップと、駆動制御手段が、ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記データベースから読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御ステップとを含み、前記顔方向情報は、水平方向の角度を示す角度情報を含み、前記駆動制御ステップにおいて、前記駆動制御手段は、前記カメラの撮像方向を現在撮像されている人物の左右いずれかの隣接人物に切り替えるための方向指示信号を受信すると、前記方向指示信号で指示された方向に対して前記カメラによる現在の撮像方向に最も近い角度情報を含む第１の顔方向情報を前記データベースから抽出し、抽出した前記第１の顔方向情報に含まれる角度情報と前記現在の撮像方向についての左右方向の角度との差分と所定のしきい値とを比較し、前記差分が前記しきい値より大きい場合には、前記第１の顔方向情報を用いて前記駆動装置を制御し、前記差分が前記しきい値以下である場合には、前記方向指示信号で指示された方向に対して前記現在の撮像方向に２番目に近い角度情報を含む第２の顔方向情報を前記データベースから抽出し、抽出した前記第２の顔方向情報を用いて前記駆動装置を制御することを特徴とするカメラ制御方法が提供される。

このようなカメラ制御方法では、登録ステップにより、撮像対象とする各人物に対応する顔方向情報がデータベースに記憶され、駆動制御ステップにより、ユーザの操作入力により指定された人物に対応する顔方向情報がデータベースから読み出され、その顔方向情報に応じて駆動装置が制御される。これにより、ユーザ操作により例えば人物を指定するだけで、指定された人物の顔が画面の中央に位置するように自動的にカメラの撮像方向が変化する。また、検出ステップにより、カメラの撮像画像信号から人物の顔の位置が検出され、その検出結果と現在のカメラの撮像方向を示す情報とを基に、登録ステップで顔方向情報が算出されてデータベースに登録される。これにより、撮像された人物に対応する顔方向情報がデータベースに自動的に登録される。さらに、顔方向情報は、水平方向の角度を示す角度情報を含む。そして、駆動制御ステップにおいて、駆動制御手段は、カメラの撮像方向を現在撮像されている人物の左右いずれかの隣接人物に切り替えるための方向指示信号を受信すると、方向指示信号で指示された方向に対してカメラによる現在の撮像方向に最も近い角度情報を含む第１の顔方向情報をデータベースから抽出する。ここで、駆動制御手段は、抽出した第１の顔方向情報に含まれる角度情報と現在の撮像方向についての左右方向の角度との差分と所定のしきい値とを比較し、差分がしきい値より大きい場合には、第１の顔方向情報を用いて駆動装置を制御する一方、差分がしきい値以下である場合には、方向指示信号で指示された方向に対して現在の撮像方向に２番目に近い角度情報を含む第２の顔方向情報をデータベースから抽出し、抽出した第２の顔方向情報を用いて駆動装置を制御する。

本発明のカメラ制御装置によれば、撮像対象とする各人物に対応する顔方向情報を記憶手段が記憶し、駆動制御手段が、ユーザの操作入力により指定された人物に対応する顔方向情報を記憶手段から読み出し、その顔方向情報に応じて駆動装置を制御するようにしたことで、例えば人物を指定するという簡単な操作入力を行うだけで、指定された人物の顔が画面の中央に正確に位置するようにカメラの撮像方向を自動的に変化させることができる。また、顔位置検出手段がカメラの撮像画像信号から人物の顔の位置を検出し、その検出結果と現在のカメラの撮像方向を示す情報とを基に登録手段が顔方向情報を算出して、記憶手段に登録するようにしたことで、あらかじめ人物ごとの顔方向情報の登録操作を行うことなく、撮像された人物に対応する顔方向情報を記憶手段に自動的に登録することができる。さらに、カメラの撮像方向を現在撮像されている人物の左右いずれかの隣接人物に切り替えるための方向指示信号を受信した場合に、カメラの動きが自然になるように駆動装置が制御されるようになる。

また、本発明のカメラ制御方法によれば、撮像対象とする各人物に対応する顔方向情報をデータベースに記憶し、駆動制御ステップで、ユーザの操作入力により指定された人物に対応する顔方向情報をデータベースから読み出して、その顔方向情報に応じて駆動装置を制御するようにしたことで、例えば人物を指定するという簡単な操作入力を行うだけで、指定された人物の顔が画面の中央に正確に位置するようにカメラの撮像方向を自動的に変化させることができる。また、検出ステップでカメラの撮像画像信号から人物の顔の位置を検出し、その検出結果と現在のカメラの撮像方向を示す情報とを基に登録ステップで顔方向情報を算出して、データベースに登録するようにしたことで、あらかじめ人物ごとの顔方向情報の登録操作を行うことなく、撮像された人物に対応する顔方向情報をデータベースに自動的に登録することができる。さらに、カメラの撮像方向を現在撮像されている人物の左右いずれかの隣接人物に切り替えるための方向指示信号を受信した場合に、カメラの動きが自然になるように駆動装置が制御されるようになる。

以下、本発明の実施の形態を図面を参照して詳細に説明する。以下の説明では、テレビ会議システムに用いられるカメラシステムに本発明を適用した場合を想定する。

＜第１の実施の形態＞
図１は、第１の実施の形態に係るカメラシステムのシステム構成を示す図である。

図１に示すカメラシステムは、会議に出席している複数の人物を１台のカメラ１０で撮像するためのものである。このシステムは、ズーム機能を備えたカメラ１０と、カメラ１０の撮像方向を変化させる雲台２０と、雲台２０の動作を制御するカメラ制御装置３０と、リモートコントローラ４０ａからの赤外線信号を受信する赤外線受光部４０と、システム全体を統括的に制御するＣＰＵ５０と、撮像画像などを表示するディスプレイ６０と、画像信号を圧縮符号化する画像エンコーダ７０とを具備する。

カメラ１０は、雲台２０によりその撮像方向が水平方向／垂直方向に変化され、またＣＰＵ５０からの制御信号（ズームコマンド）によってズームレンズの焦点距離が制御されるようになっている。また、このカメラ１０は、撮像した画像信号をカメラ制御装置３０に供給する。雲台２０は、水平方向／垂直方向に対する撮像方向を指示する制御情報（後述するＰｄｅｇ，Ｔｄｅｇ）をカメラ制御装置３０から受けて、それらの値に応じて駆動する。また、現在のＰｄｅｇ，Ｔｄｅｇの値をカメラ制御装置３０に通知できるようになっている。

カメラ制御装置３０は、ＣＰＵ５０からのパン／チルト動作に対する操作コマンドに応じて、雲台２０の動作を制御する。また、カメラ１０による撮像画像信号をディスプレイ６０や画像エンコーダ７０に供給する。

これらに加えてカメラ制御装置３０は、複数の人物の顔の位置をデータベースとして保持し、操作コマンドに応じて任意の顔が規定の大きさで自動的に撮像されるように雲台２０やズーム動作を制御する機能、および、カメラ１０による撮像画像信号から人物の顔を認識して、その位置情報をデータベースに登録／更新する機能を具備している。そして、それらの機能のために、雲台２０から現在のＰｄｅｇ，Ｔｄｅｇの値を取得することや、また、ＣＰＵ５０から現在のズーム動作の制御値（後述するＺｄｅｇ）を取得すること、ＣＰＵ５０にＺｄｅｇの値を出力してカメラ１０のズーム動作を制御することなどが可能となっている。

赤外線受光部４０は、雲台２０の駆動やカメラ１０のズーム機能を制御するための赤外線信号をリモートコントローラ４０ａから受信し、それらに応じたキー操作信号をＣＰＵ５０に供給する。ＣＰＵ５０は、キー操作信号に応じてカメラ制御装置３０にパン／チルト動作に対する操作コマンドを出力し、またズーム制御信号をカメラ１０に出力して、雲台２０の回転動作およびカメラ１０のズーム動作を制御する。また、カメラ制御装置３０からのＺｄｅｇに応じてカメラ１０のズーム動作を制御する場合もある。

ディスプレイ６０は、カメラ１０による撮像画像信号を受信して、会議室などにおける現在の撮像画像などを表示する。画像エンコーダ７０は、カメラ制御装置３０からの撮像画像信号を圧縮符号化して、画像ストリームを生成する。生成された画像ストリームは、同時に会議室で集音した音声ストリームとともに通信回線を通じて遠隔地の会議室に送信され、受信側の会議室において、送信側の会議室における画像および音声がリアルタイムに再生される。また、遠隔地の会議室で撮像・集音された画像および音声のストリームも同時に受信して、画像および音声をディスプレイ６０およびスピーカで再生することで、遠隔地の会議室同士で画面を見ながら会議を行うことが可能となる。

図２は、カメラ制御装置３０およびＣＰＵ５０が備えるカメラ制御のための機能を示すブロック図である。

図２に示すように、カメラ制御装置３０は、顔位置データベース３１、顔認識モジュール３２、データベース更新モジュール３３、データベース検索モジュール３４、およびパン／チルト制御部３５を具備している。また、ＣＰＵ５０は、ズーム制御部５１、ＰＴＺ（ＰＡＮ，ＴＩＬＴ，ＺＯＯＭ）コマンド制御部５２、およびＭｏｖｅ＿Ｎｅｘｔコマンド制御部５３を具備している。

顔位置データベース３１は、会議の出席者の顔が画面の中央に所定の大きさで映るときの雲台２０の回転動作およびカメラ１０のズーム動作の制御情報を、出席者ごとに記憶するデータベースである。この制御情報は図３で後述するように、水平および垂直に対するカメラ１０の撮像方向と、カメラ１０のズーム動作状態とを角度形式で表したデータ（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）からなる。

顔認識モジュール３２は、カメラ１０によって撮像されたデジタル画像信号から、画像認識技術を用いて人物の顔の位置を検出し、座標形式の顔位置情報（Ｐｐｘ，Ｔｐｘ，Ｚｐｘ）を算出する。

データベース更新モジュール３３は、顔認識モジュール３２によって算出された顔位置情報（Ｐｐｘ，Ｔｐｘ，Ｚｐｘ）を角度形式に変換し、顔位置データベース３１に登録する。また、カメラ１０による撮像動作中でも、顔認識モジュール３２からの顔位置情報に基づいて、顔位置データベース３１の内容を随時更新する。

データベース検索モジュール３４は、顔位置データベース３１の記憶情報を用いてカメラ１０の撮像方向およびズーム動作を制御するための機能ブロックである。このデータベース検索モジュール３４は、Ｍｏｖｅ＿Ｎｅｘｔコマンド制御部５３からの方向指示情報に応じて、現在撮像している出席者の隣りに位置する出席者に対応する顔位置情報（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）を顔位置データベース３１から抽出し、その情報に応じてパン／チルト制御部３５およびズーム制御部５１を介して撮像方向およびズーム動作を制御する。

パン／チルト制御部３５は、ＰＴＺコマンド制御部５２からの操作コマンド、あるいはデータベース検索モジュール３４からの制御情報（Ｐｄｅｇ，Ｔｄｅｇ）に応じて、雲台２０に制御信号を出力してそのパン／チルト動作を制御する。同様に、ズーム制御部５１は、ＰＴＺコマンド制御部５２からの操作コマンド、あるいはデータベース検索モジュール３４からの制御情報（Ｚｄｅｇ）に応じて、カメラ１０に制御コマンドを出力してズーム動作を制御する。

ＰＴＺコマンド制御部５２は、赤外線受光部４０からのキー操作信号に応じて操作コマンドを生成し、パン／チルト動作に対するコマンドをパン／チルト制御部３５に、ズーム動作に対応するコマンドをズーム制御部５１にそれぞれ出力する。Ｍｏｖｅ＿Ｎｅｘｔコマンド制御部５３は、同様に赤外線受光部４０からのキー操作信号に応じて操作コマンドを生成し、データベース検索モジュール３４に出力する。

ここで、本実施の形態のリモートコントローラ４０ａは、パン／チルトの方向やズーム倍率を徐々に変化させるためのＰＴＺキーと、顔位置データベース３１を利用して、現在撮像中の人物に隣接する他の人物を撮像するための方向を指定するＭｏｖｅ＿Ｎｅｘｔキーとを具備する。

そして、ＰＴＺキーへの入力操作により、パン／チルトの方向およびズーム倍率の拡大／縮小を示すキー操作信号が赤外線受光部４０を通じてＣＰＵ５０に供給され、ＰＴＺコマンド制御部５２はこれらの信号に応じてＰＴＺコマンドを発行する。これにより、パン／チルト制御部３５は、ＰＴＺコマンドに応じてカメラ１０の方向を徐々に変化させるように雲台２０を制御し、またズーム制御部５１は、ＰＴＺコマンドに応じてカメラ１０のズーム倍率を徐々に拡大または縮小させる。

一方、Ｍｏｖｅ＿Ｎｅｘｔキーへの入力操作により、左右それぞれの方向を指示するキー操作信号が赤外線受光部４０を通じてＣＰＵ５０に供給され、Ｍｏｖｅ＿Ｎｅｘｔコマンド制御部５３はこれらの信号に応じて左右いずれかの方向を示すＭｏｖｅ＿Ｎｅｘｔコマンドを発行する。これによりデータベース検索モジュール３４は、指示された方向に隣接する人物に対応する顔位置情報を顔位置データベース３１から抽出し、その情報をパン／チルト制御部３５およびズーム制御部５１に出力して、隣接する人物の顔を自動的に撮像させる。

このようにＭｏｖｅ＿Ｎｅｘｔキーを操作することにより、カメラシステムの操作者は、会議の出席者の１人を撮像した状態から他の出席者を撮像した状態に簡単な操作で切り替えることができ、ディスプレイ６０を見ながらカメラ１０の撮像方向やズーム倍率をマニュアル調節する必要がなくなる。

図３は、パン／チルト／ズーム動作の制御情報（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）について説明するための図である。

本実施の形態では、パン／チルト／ズーム動作の制御情報を、水平および垂直に対するカメラ１０の撮像方向と、カメラ１０のズーム動作状態とを角度形式で表したＰｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇによって表す。水平方向の回転動作（パン動作）については、図３（Ａ）に示すように、雲台２０の回転角度を例えば最大１８０°とし、雲台２０の回転中心と撮像される人物の顔の中心点とを結ぶ直線の角度（−９０．０°〜＋９０．０°）をパン動作の制御情報（Ｐｄｅｇ）とする。同様に、垂直方向の回転動作（チルト動作）については、図３（Ｂ）に示すように、雲台２０の回転角度を例えば最大６０°とし、雲台２０の回転中心と顔の中心点とを結ぶ直線の角度（−３０．０°〜＋３０．０°）をチルト動作の制御情報（Ｔｄｅｇ）とする。

また、ズーム動作の制御情報（Ｚｄｅｇ）については、図３（Ａ）に示すように、カメラ１０の視野角として表す。この図では視野角を１．０°〜４５．０°の範囲としており、値が小さいほど望遠側のズーム状態となって、被写体が拡大される。

これらの制御情報は、パン／チルト／ズーム動作を制御するためのパン／チルト制御部３５やズーム制御部５１に供給される。これとともに、顔位置データベース３１に記憶される各人物の顔位置情報も、これらの角度情報の組（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）とされる。なお、顔位置データベース３１内のズーム動作の情報は、例えば、人物の顔が画面いっぱいに表示されるときの視野角とする。

次に、このカメラシステムの動作をフローチャートを用いて具体的に説明する。まず、図４は、カメラシステムの処理全体の流れを示すフローチャートである。

〔ステップＳ１０１〕顔位置データベース３１に対する顔位置情報の自動登録処理を実行する。この処理は、カメラシステムの使用を開始する際に、例えばＣＰＵ５０の制御により、カメラ１０の撮像方向を変化させながら撮像しうる範囲内の人物の顔を画像認識技術を用いて自動的に認識し、それらの顔位置情報を顔位置データベース３１に登録していく処理である。なお、この処理については次の図５で説明する。

〔ステップＳ１０２〕カメラ１０によって１フレーム分の撮像画像信号が出力され、顔認識モジュール３２がこの信号を受信するまで待機する。そして、受信した場合にはステップＳ１０３に進む。

〔ステップＳ１０３〕実行待ち状態のＰＴＺコマンドがある場合には、パン／チルト制御部３５およびズーム制御部５１がＰＴＺコマンド制御部５２からＰＴＺコマンドを受信し、ステップＳ１０４に進む。ＰＴＺコマンドがない場合にはステップＳ１０５に進む。

〔ステップＳ１０４〕受信したＰＴＺコマンドに応じて、パン／チルト制御部３５が雲台２０を制御してカメラ１０の撮像方向を１ステップ分変化させ、またズーム制御部５１がカメラ１０のズーム倍率を１ステップ分変化させる。この後、ステップＳ１０９に進む。

〔ステップＳ１０５〕実行待ち状態のＭｏｖｅ＿Ｎｅｘｔコマンドがある場合には、データベース検索モジュール３４がＭｏｖｅ＿Ｎｅｘｔコマンド制御部５３からＭｏｖｅ＿Ｎｅｘｔコマンドを受信し、ステップＳ１０６に進む。Ｍｏｖｅ＿Ｎｅｘｔコマンドがない場合にはステップＳ１０７に進む。

〔ステップＳ１０６〕データベース検索モジュール３４は、コマンドで指定された方向に隣接する人物の顔を撮像するように、カメラ１０の方向を移動させる処理を実行する。そして、処理終了後にステップＳ１０９に進む。なお、ステップＳ１０６の処理については図７で詳しく説明する。

〔ステップＳ１０７〕ＰＴＺコマンドおよびＭｏｖｅ＿Ｎｅｘｔコマンドのいずれも受信していない場合には、現在撮像中の範囲についての画像認識を利用した顔位置データベース３１の更新処理を、顔認識モジュール３２およびデータベース更新モジュール３３が実行する。なお、この処理については図６で詳しく説明する。

〔ステップＳ１０８〕データベース検索モジュール３４が、更新された顔位置データベース３１から現在撮像中の顔の顔位置情報をあらためて抽出し、その顔が画面の中心に位置するようにカメラ１０の方向を制御し、さらに画面上の顔が所定の大きさになるようにズーム動作を制御する。なお、ステップＳ１０７の処理で、撮像中の画面内から複数の人物の顔が認識された場合には、その中でＰｄｅｇの値が画面内の中心に最も近い顔を撮像するように制御する。以上の処理終了後、ステップＳ１０９に進む。

〔ステップＳ１０９〕ＣＰＵ５０は、例えば電源切断操作などにより処理の終了が要求されたか否かを判定し、要求されていない場合はステップＳ１０２に戻る。

以上のフローチャートによる処理では、例として画像信号の１フレーム分の同期期間（垂直同期期間）において１つの操作コマンドに応じた処理を実行している。ＰＴＺコマンドを受信した場合は、それに応じて１ステップ分のパン／チルト／ズーム動作の状態が変更される（ステップＳ１０４）。また、Ｍｏｖｅ＿Ｎｅｘｔコマンドを受信した場合には、指定された方向に隣接する人物の顔が撮像されるように、パン／チルト／ズーム動作が自動的に制御される（ステップＳ１０６）。

なお、例えば雲台２０の回転速度が遅く、隣接する顔が撮像されるまでに垂直同期期間より長い時間を要する場合には、その動作が完了するまでの間、次のコマンド受信に応じた処理やステップＳ１０７でのデータベース更新処理の実行を保留しておくようにしてもよい。

また、ＰＴＺコマンドおよびＭｏｖｅ＿Ｎｅｘｔコマンドのいずれも受信していない場合、すなわち、カメラ１０の撮像方向やズームレンズ位置が止まっている場合には、そのときの撮像画像信号を基に画像認識が行われて、撮像されている範囲についての顔位置データベース３１内の記憶情報が更新される（ステップＳ１０７）。これにより、会議の参加者の席の移動や参加人数の増減があった場合などに、顔位置データベース３１が自動的に更新される。

さらに、更新された顔位置情報に基づいて、撮像中の顔を画面の中心に移動させるようにカメラ１０の方向やズーム倍率が修正される（ステップＳ１０８）。このため、会議の参加者の細かい位置の移動にカメラ１０が追随して、その顔が常に中心に映るようになり、生成される画像の品質が向上する。また、誰の顔も映っていない状態が回避されて、無駄な画像信号が送信されなくなる。

図５は、顔位置データベース３１の自動登録処理の流れを示すフローチャートである。

〔ステップＳ２０１〕パン／チルト制御部３５は、カメラ１０の撮像方向を示す雲台２０の制御値を初期値に設定する。例えば、カメラ１０が撮像範囲の最も左上を向くように制御する。なお、この処理中においてズーム制御部５１は、最も広角側のズーム状態となるようにカメラ１０を制御する。

〔ステップＳ２０２〕現在撮像中の範囲についての画像認識を利用した顔位置データベース３１の更新処理を、顔認識モジュール３２およびデータベース更新モジュール３３が実行する。ここでは、対応する範囲についての顔位置情報が新規に登録される。なお、このステップＳ２０２の処理は、図４のステップＳ１０７と同様であり、次の図６で詳しく説明する。

〔ステップＳ２０３〕パン／チルト制御部３５は、撮像可能な範囲のすべてについて、画像認識による顔位置検出を行い、顔位置情報を更新したか否かを判定する。画像認識を行っていない範囲がある場合にはステップＳ２０４に進み、すべての範囲について終了した場合には、初期動作を終了し、図４のステップＳ１０２に進んで通常動作を開始する。

〔ステップＳ２０４〕パン／チルト制御部３５は、顔位置検出が行われていない次の撮像範囲を撮像するように、カメラ１０の方向を制御する。この後、ステップＳ２０２に戻って、現在の範囲についての顔位置検出を行い、対応する顔位置情報を登録する。

以上のフローチャートの処理により、撮像可能なすべての範囲内をカメラ１０により撮像して、その範囲内に存在する人物の顔の位置を自動的に検出し、その顔の顔位置情報を顔位置データベース３１に登録することができる。

図６は、顔位置データベース３１の更新処理の流れを示すフローチャートである。

〔ステップＳ３０１〕データベース更新モジュール３３は、雲台２０からパン／チルト制御部３５を通じて現在のＰｄｅｇ，Ｔｄｅｇを取得し、ズーム制御部５１から現在のＺｄｅｇを取得する。そして、これらの制御情報を基に、更新対象とする範囲（現在撮像中の範囲に対応）を特定する。

〔ステップＳ３０２〕データベース更新モジュール３３は、顔位置データベース３１中の更新範囲内の記憶データをクリアする。

〔ステップＳ３０３〕顔認識モジュール３２は、カメラ１０から撮像画像信号を受信する。

〔ステップＳ３０４〕顔認識モジュール３２は、受信した画像信号を用いて画像認識処理を行い、顔の位置を検出する。ここで、本実施の形態では１フレーム分の画像信号から顔の位置を検出するため、フレーム間の差分を利用した画像認識の手法は使用できない。適用可能な画像認識の手法としては、例えば、画像信号の色情報を基に肌色分布を検出して顔の輪郭を含む範囲を特定し、その範囲内の輪郭線や目、口などの部位の位置などをあらかじめ記憶していた複数の顔形態のテンプレートと比較して、顔の存在の有無を判定する手法などが挙げられる。

また、顔を１つ以上検出した場合には、それぞれの顔を収容可能な最小の正方形枠を生成し、その正方形枠の中心位置の画面上における座標（画素番号）を水平方向および垂直方向の顔位置情報（Ｐｐｘ，Ｔｐｘ）とし、正方形枠の一辺の長さ（画素数）をズーム動作に対応するデータ（Ｚｐｘ）とする。そして、この顔位置情報（Ｐｐｘ，Ｔｐｘ，Ｚｐｘ）のリストを一時的に記憶する。

例えば、３５２×２８８画素のＣＩＦ（Common Intermediate Format）サイズの画像であれば、Ｐｐｘは０〜３５１，Ｔｐｘは０〜２８７の値をとる。また、Ｚｐｘは例えば２０〜２００の値とする。

〔ステップＳ３０５〕ステップＳ３０４において人物の顔を１つ以上検出した場合にはステップＳ３０６に進み、検出されなかった場合にはステップＳ３０８に進む。

〔ステップＳ３０６〕データベース更新モジュール３３は、現在のＰｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇの値を基に、顔認識モジュール３２に記憶された座標形式の顔位置情報（Ｐｐｘ，Ｔｐｘ，Ｚｐｘ）を、角度形式の顔位置情報（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）に変換する。

例えば、現在のＰｄｅｇ，Ｔｄｅｇ、Ｚｄｅｇがそれぞれ−３０．０，＋１０．０，＋４０．０である場合、撮像している画像の左端のＰｄｅｇは、−３０．０−４０．０／２＝−５０．０、右端のＰｄｅｇは、−３０．０＋４０．０／２＝−１０．０、上端のＴｄｅｇは、＋１０．０＋（４０．０×３／４）／２＝＋２５．０、下端のＴｄｅｇは、＋１０．０−（４０．０×３／４）／２＝−５．０となる。従って、これらの値と画像の端部の座標値とを線形に対応させることにより、座標形式の顔位置情報（Ｐｐｘ，Ｔｐｘ，Ｚｐｘ）を角度形式の顔位置情報（Ｐｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇ）に換算することができる。

〔ステップＳ３０７〕データベース更新モジュール３３は、角度形式に変換した顔位置情報のリストを顔位置データベース３１に登録する。

〔ステップＳ３０８〕顔位置データベース３１は、記憶した顔位置情報をＰｄｅｇが小さい順にソートする。

以上のフローチャートの処理により、現在撮像している範囲に含まれる顔位置情報のみが更新される。例えば、撮像範囲に複数の顔が検出された場合には、それらのすべての顔位置情報が顔位置データベース３１に登録される。また、画像認識により顔が検出されなかった場合には、その範囲に対応する顔位置情報が顔位置データベース３１から削除される。そして、更新後の顔位置情報はＰｄｅｇが小さい順にソートされるので、後述するＭｏｖｅ＿Ｎｅｘｔコマンドに応じたカメラ方向移動処理において、隣接する顔の顔位置情報を効率よく抽出できるようになる。

図７は、隣接する顔へのカメラ方向移動処理の流れを示すフローチャートである。

〔ステップＳ４０１〕データベース検索モジュール３４は、雲台２０からパン／チルト制御部３５を通じて現在のＰｄｅｇ，Ｔｄｅｇを取得し、ズーム制御部５１から現在のＺｄｅｇを取得する。

〔ステップＳ４０２〕データベース検索モジュール３４は、顔位置データベース３１を検索して、Ｍｏｖｅ＿Ｎｅｘｔコマンドで指定された左右いずれかの方向について、現在のＰｄｅｇの値に最も近いＰｄｅｇを持つ顔位置情報を抽出する。

〔ステップＳ４０３〕データベース検索モジュール３４は、抽出した顔位置情報のＰｄｅｇと、現在のＰｄｅｇとの差分を演算する。

〔ステップＳ４０４〕Ｐｄｅｇの差分の絶対値が所定のしきい値以下である場合はステップＳ４０５に進み、しきい値を超えた場合はステップＳ４０６に進む。

〔ステップＳ４０５〕データベース検索モジュール３４は、Ｍｏｖｅ＿Ｎｅｘｔコマンドで指定された方向について、現在のＰｄｅｇに２番目に近いＰｄｅｇを持つ顔位置情報を抽出する。

〔ステップＳ４０６〕データベース検索モジュール３４は、ステップＳ４０２またはステップＳ４０５で顔位置データベース３１から抽出したＰｄｅｇ，Ｔｄｅｇをパン／チルト制御部３５に出力して雲台２０を制御し、その顔位置情報に対応する顔の方向にカメラ１０を向ける。

また、同様に抽出したＺｄｅｇを用いて、カメラ１０のズーム動作を制御する。ここで、本実施の形態では、顔位置データベース３１内のＺｄｅｇは、画像認識により検出された顔の大きさとほぼ等しい正方形枠を画面いっぱいに撮像するような値となっている。このため、データベース検索モジュール３４は、抽出したＺｄｅｇの値を、対応する顔が画面内で所定の大きさとなるように換算して、ズーム制御部５１に出力し、ズーム倍率を制御する。例えば、正方形枠の一辺の長さが画像の横幅の１／４、縦方向長さの１／３となるように顔の大きさを設定した場合、顔位置データベース３１から抽出したＺｄｅｇを４倍にしてズーム制御部５１に出力すればよい。

以上のフローチャートの処理では、例えばその直前の垂直同期期間にＰＴＺコマンドに応じたカメラ方向やズーム動作の制御が行われたことなどにより、現在のＰｄｅｇ，Ｔｄｅｇ，Ｚｄｅｇが顔位置データベース３１内の顔位置情報と一致しない場合にも、Ｍｏｖｅ＿Ｎｅｘｔコマンドによる制御を実行できるようにされている。

すなわち、隣接する顔のＰｄｅｇと現在のＰｄｅｇとの差分値をしきい値と比較し（ステップＳ４０４）、それらの差分値が小さければＰｄｅｇのずれ量を誤差の範囲内と判断して、指定された方向に最も近いＰｄｅｇを持つ顔位置情報を現在の制御量と見なし、その方向に次に隣接する顔にカメラ１０を向けさせるように制御する（ステップＳ４０５およびＳ４０６）。逆に、Ｐｄｅｇのずれ量が大きい場合には、指定された方向に最も近いＰｄｅｇを持つ顔位置情報を用いてカメラ方向を制御することで、操作者が自然な感覚で操作できるようになる。

以上説明したように、第１の実施の形態に係るカメラシステムでは、カメラ１０が撮像範囲をすべてスキャンして、画像認識処理により会議の出席者の顔の位置を検出して、その情報を顔位置データベース３１に登録する。このため、出席者の顔の位置情報を顔位置データベース３１に事前に登録する操作が不要となり、ユーザの手間が省けて利便性が高まる。

そして、Ｍｏｖｅ＿Ｎｅｘｔコマンドに応じて顔位置データベース３１に登録された顔位置情報を抽出して制御を行うことで、方向を示すＭｏｖｅ＿Ｎｅｘｔキーのみを用いた簡単な操作で、隣に存在する人物の顔を画面内の正確な位置に適度な大きさで映すことができる。また、例えば顔位置データベース３１の顔位置情報にＰｄｅｇの大きさ順に番号を付しておき、リモートコントローラ４０ａなどによって番号を指定するだけで、任意の人物の顔を撮像させることも可能である。

さらに、通常動作時でもパン／チルト／ズーム動作を変化させる要求がないときには、画像認識により撮像中の顔が常に画面の中心に映るように自動的に制御されるので、送信先の会議室において自然で高品質な画像を表示させることができる。

＜第２の実施の形態＞
図８は、第２の実施の形態に係るカメラシステムのシステム構成を示す図である。なお、この図８では、図１と対応する機能には同じ符号を付して示し、その説明を省略する。

図８に示すカメラシステムは、図１に示したシステムの構成に加えて、音声信号解析装置８０と、２つのマイクロフォン８１および８２とを具備している。マイクロフォン８１および８２は、カメラ１０で撮像している会議室における出席者の声を集音するためのもので、集音された音声信号は音声信号解析装置８０に入力される。音声信号解析装置８０は、入力された２つの音声信号から人間の声を抽出し、その声の発生された方向を推測して、方向を示す音声方向情報をカメラ制御装置３０に出力する。これによりカメラ制御装置３０は、音声方向情報に基づいて発言している出席者の方向を特定し、その方向にカメラ１０を向けることができるようになる。なお、音声方向情報は例えばＰｄｅｇ，Ｔｄｅｇの値として与えられる。

図９は、第２の実施の形態に係るカメラシステムの処理全体の流れを示すフローチャートである。

〔ステップＳ５０１〕カメラ１０によって１フレーム分の撮像画像信号が出力され、顔認識モジュール３２がこの信号を受信するまで待機する。そして、受信した場合にはステップＳ５０２に進む。

〔ステップＳ５０２，Ｓ５０３〕これらのステップは、図４のステップＳ１０３およびＳ１０４にそれぞれ対応する。すなわち、実行待ち状態のＰＴＺコマンドがある場合にのみステップＳ５０３に進んで、パン／チルト制御部３５およびズーム制御部５１がＰＴＺコマンド制御部５２からＰＴＺコマンドを受信し、そのＰＴＺコマンドに応じて雲台２０が制御されてカメラ１０の撮像方向が１ステップ分変化され、またカメラ１０のズーム倍率が１ステップ分変化される。この後、ステップＳ５１０に進む。

〔ステップＳ５０４，Ｓ５０５〕これらのステップは、図４のステップＳ１０５およびＳ１０６に対応する。すなわち、実行待ち状態のＭｏｖｅ＿Ｎｅｘｔコマンドがある場合にのみステップＳ５０５に進んで、データベース検索モジュール３４がＭｏｖｅ＿Ｎｅｘｔコマンド制御部５３からＭｏｖｅ＿Ｎｅｘｔコマンドを受信し、コマンドで指定された方向に隣接する人物の顔を撮像するようにカメラ１０の方向を移動させる。この後、ステップＳ５１０に進む。

〔ステップＳ５０６〕音声信号解析装置８０から音声方向情報が出力されている場合は、パン／チルト制御部３５がこの情報（Ｐｄｅｇ，Ｔｄｅｇ）を受信して、ステップＳ５０７に進む。また、音声方向情報が出力されていない場合はステップＳ５０８に進む。

〔ステップＳ５０７〕パン／チルト制御部３５は、音声方向情報によって指定された方向にカメラ１０を向けるように雲台２０を制御する。この後、ステップＳ５１０に進む。

〔ステップＳ５０８，Ｓ５０９〕これらのステップは、図４のステップＳ１０７およびＳ１０８にそれぞれ対応する。すなわち、ステップＳ５０８では、現在撮像中の範囲についての画像認識を利用した顔位置データベース３１の更新処理を、顔認識モジュール３２およびデータベース更新モジュール３３が実行する。そして、ステップＳ５０９では、データベース検索モジュール３４が、更新された顔位置データベース３１から現在撮像中の顔の顔位置情報をあらためて抽出し、その顔が画面の中心に位置するようにカメラ１０の方向を制御し、さらに画面上の顔が所定の大きさになるようにズーム動作を制御する。この後、ステップＳ５１０に進む。

〔ステップＳ５１０〕ＣＰＵ５０は、例えば電源切断操作などにより処理の終了が要求されたか否かを判定し、要求されていない場合はステップＳ５０１に戻る。

以上のフローチャートによる処理では、図４の処理に加えて、音声信号解析装置８０からの音声方向情報に応じて、発言者の方向にカメラ１０を自動的に向けて撮像することができる。また、カメラ１０を発言者に向けた後、ＰＴＺコマンドやＭｏｖｅ＿Ｎｅｘｔコマンド、音声方向情報が受信されなければ、ステップＳ５０８およびＳ５０９の処理が実行される。このため、発言者やその周囲に位置する人物の顔位置情報が顔位置データベース３１に自動的に登録され、さらに、発言者の顔が画面の中央に位置するようにカメラ１０の方向が自動的に調整される。従って、ユーザ操作を行うことなく、発言者の顔を適度な大きさで正確に撮像することができるようになる。また、音声方向情報に応じて発言者の近辺を自動的に撮像させた後、Ｍｏｖｅ＿Ｎｅｘｔキーを用いて撮像方向を正確に合わせることもできる。

さらに、上記処理を用いると、例えば会議の開始時に出席者全員が順に声を発することで、各出席者の顔位置情報を顔位置データベース３１に自動的に登録し、その後に、Ｍｏｖｅ＿Ｎｅｘｔキーを用いたカメラ方向切り替え処理や、番号指定などにより任意の出席者の顔にカメラ１０を自動的に向ける処理を実行させることもできるようになる。

なお、以上の各実施の形態のカメラシステムでは、ＰＴＺコマンドやＭｏｖｅ＿Ｎｅｘｔコマンドを遠隔地から通信回線を通じて受信し、その受信コマンドに応じてカメラ１０の撮像方向やズーム動作が制御できるようにしてもよい。これにより、一方の会議室から他方の会議室におけるカメラ動作を通信回線を通じて簡単に制御することが可能になる。また、各地の会議室におけるカメラ動作を１カ所で簡単に制御することも可能になる。

また、上記の各実施の形態では、本発明を適用したカメラシステムを電子会議システムに使用した場合について説明したが、このようなカメラシステムは他に、例えば録画メディア用や放送用の映像コンテンツを作成する際にカメラ方向の切り替えを簡単な操作で行うようにするといった用途にも使用することができる。

第１の実施の形態に係るカメラシステムのシステム構成を示す図である。 カメラ制御装置およびＣＰＵが備えるカメラ制御のための機能を示すブロック図である。 パン／チルト／ズーム動作の制御情報について説明するための図である。 カメラシステムの処理全体の流れを示すフローチャートである。 顔位置データベースの自動登録処理の流れを示すフローチャートである。 顔位置データベースの更新処理の流れを示すフローチャートである。 隣接する顔へのカメラ方向移動処理の流れを示すフローチャートである。 第２の実施の形態に係るカメラシステムのシステム構成を示す図である。 第２の実施の形態に係るカメラシステムの処理全体の流れを示すフローチャートである。

符号の説明

１０……カメラ、２０……雲台、３０……カメラ制御装置、３１……顔位置データベース、３２……顔認識モジュール、３３……データベース更新モジュール、３４……データベース検索モジュール、３５……パン／チルト制御部、４０……赤外線受光部、４０ａ……リモートコントローラ、５０……ＣＰＵ、５１……ズーム制御部、５２……ＰＴＺコマンド制御部、５３……Ｍｏｖｅ＿Ｎｅｘｔコマンド制御部、６０……ディスプレイ、７０……画像エンコーダ

Claims (11)

1. 撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するカメラ制御装置において、
   前記カメラの撮像対象とする複数の人物のそれぞれの顔が、前記カメラによる撮像範囲の中央に位置するときの顔方向情報を、撮像対象の人物ごとに記憶する記憶手段と、
   前記カメラの撮像画像信号から人物の顔の位置を検出する顔位置検出手段と、
   前記顔位置検出手段による検出結果と現在の前記カメラの撮像方向を示す情報とを基に前記顔方向情報を算出して前記記憶手段に登録する登録手段と、
   ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記記憶手段から読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御手段と、
   を有し、
   前記顔方向情報は、水平方向の角度を示す角度情報を含み、
   前記駆動制御手段は、
   前記カメラの撮像方向を現在撮像されている人物の左右いずれかの隣接人物に切り替えるための方向指示信号を受信すると、前記方向指示信号で指示された方向に対して前記カメラによる現在の撮像方向に最も近い角度情報を含む第１の顔方向情報を前記記憶手段から抽出し、
   抽出した前記第１の顔方向情報に含まれる角度情報と前記現在の撮像方向についての左右方向の角度との差分と所定のしきい値とを比較し、
   前記差分が前記しきい値より大きい場合には、前記第１の顔方向情報を用いて前記駆動装置を制御し、
   前記差分が前記しきい値以下である場合には、前記方向指示信号で指示された方向に対して前記現在の撮像方向に２番目に近い角度情報を含む第２の顔方向情報を前記記憶手段から抽出し、抽出した前記第２の顔方向情報を用いて前記駆動装置を制御する、
   ことを特徴とするカメラ制御装置。
2. 前記登録手段は、前記顔位置検出手段により人物の顔の位置が検出されると、前記記憶手段に記憶された前記顔方向情報のうち、現在の前記カメラによる撮像範囲に含まれる前記顔方向情報を消去し、前記顔位置検出手段による検出結果に基づいて前記顔方向情報を再度算出して前記記憶手段に登録することを特徴とする請求項１記載のカメラ制御装置。
3. 前記カメラの撮像可能な範囲を分割して、その分割範囲を前記カメラが順に撮像するように前記駆動装置を制御する初期駆動制御手段をさらに有し、
   前記顔位置検出手段が、前記分割範囲に対する前記カメラの撮像画像信号から人物の位置を検出し、前記登録手段が、前記分割範囲で検出された人物の前記顔方向情報を算出して前記記憶手段に順次登録することで、撮像可能な全範囲に存在する人物の前記顔方向情報を前記記憶手段に自動的に登録することを特徴とする請求項１記載のカメラ制御装置。
4. 前記カメラの撮像方向を変化させるためのユーザの操作入力が一定時間行われなかった場合に、
   前記顔位置検出手段は、前記カメラによる現在の撮像画像信号から人物の顔の位置を検出し、
   前記登録手段は、前記カメラによる現在の撮像範囲に含まれる前記顔方向情報を前記記憶手段から消去した後、前記顔位置検出手段により検出された人物の前記顔方向情報を前記記憶手段に登録し、
   前記駆動制御手段は、前記顔位置検出手段により検出された人物の顔のうち、現在の撮像範囲の中心に最も近い顔に対応する顔位置情報を前記記憶手段から読み出し、当該顔位置情報に応じて前記駆動装置を制御して前記カメラの撮像方向を修正する、
   ことを特徴とする請求項１記載のカメラ制御装置。
5. 前記顔方向情報は、前記顔位置検出手段により検出された人物の顔の中心位置を示す水平方向および垂直方向に対する角度情報からなることを特徴とする請求項１記載のカメラ制御装置。
6. 前記カメラのズーム倍率を制御するズーム制御手段をさらに有し、
   前記登録手段は、前記顔位置検出手段により検出された人物の顔の大きさを示す顔大きさ情報を、前記顔方向情報に対応付けて前記記憶手段に登録し、
   前記ズーム制御手段は、前記駆動制御手段により読み出された前記顔方向情報に対応する前記記憶手段内の前記顔大きさ情報を基に、当該顔方向情報に基づいて撮像される人物の顔が撮像画面内において所定の大きさになるように前記カメラのズーム倍率を制御する、
   ことを特徴とする請求項１記載のカメラ制御装置。
7. 前記顔大きさ情報は、前記顔位置検出手段により検出された人物の顔を収容可能な最小の正方形範囲を前記カメラが画面全体で撮像するときの視野角情報からなることを特徴とする請求項６記載のカメラ制御装置。
8. 前記カメラの撮像対象とする人物から発せられる声の方向を検出する音声検出装置からの検出信号を受信して、前記検出信号の示す方向を前記カメラが撮像するように前記駆動装置を制御する自動駆動制御手段をさらに有し、
   前記自動駆動制御手段により前記カメラの撮像方向が制御された場合に、
   前記顔位置検出手段は、前記カメラの撮像画像信号から人物の顔の位置を検出し、
   前記登録手段は、前記カメラによる現在の撮像範囲に含まれる前記顔方向情報を前記記憶手段から消去した後、前記顔位置検出手段により検出された人物の前記顔方向情報を前記記憶手段に登録する、
   ことを特徴とする請求項１記載のカメラ制御装置。
9. 複数の人物を撮像するためのカメラと、前記カメラの撮像方向を変化させる駆動装置と、前記駆動装置を制御するカメラ制御装置とを含むカメラシステムにおいて、
   前記カメラ制御装置は、
   前記カメラの撮像対象とする人物のそれぞれの顔が、前記カメラによる撮像範囲の中央に位置するときの顔方向情報を、撮像対象の人物ごとに記憶する記憶手段と、
   前記カメラの撮像画像信号から人物の顔の位置を検出する顔位置検出手段と、
   前記顔位置検出手段による検出結果と現在の前記カメラの撮像方向を示す情報とを基に前記顔方向情報を算出して前記記憶手段に登録する登録手段と、
   ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記記憶手段から読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御手段と、
   を有し、
   前記顔方向情報は、水平方向の角度を示す角度情報を含み、
   前記駆動制御手段は、
   前記カメラの撮像方向を現在撮像されている人物の左右いずれかの隣接人物に切り替えるための方向指示信号を受信すると、前記方向指示信号で指示された方向に対して前記カメラによる現在の撮像方向に最も近い角度情報を含む第１の顔方向情報を前記記憶手段から抽出し、
   抽出した前記第１の顔方向情報に含まれる角度情報と前記現在の撮像方向についての左右方向の角度との差分と所定のしきい値とを比較し、
   前記差分が前記しきい値より大きい場合には、前記第１の顔方向情報を用いて前記駆動装置を制御し、
   前記差分が前記しきい値以下である場合には、前記方向指示信号で指示された方向に対して前記現在の撮像方向に２番目に近い角度情報を含む第２の顔方向情報を前記記憶手段から抽出し、抽出した前記第２の顔方向情報を用いて前記駆動装置を制御する、
   ことを特徴とするカメラシステム。
10. 複数の人物を撮像するためのカメラシステムと、複数の人物が発する音声を集音する集音装置と、前記カメラシステムからの画像信号と前記集音装置からの音声信号とを多重化して通信回線を通じて送信する送信装置とを備えた電子会議システムにおいて、
    前記カメラシステムは、カメラと、前記カメラの撮像方向を変化させる駆動装置と、前記駆動装置を制御するカメラ制御装置とを含み、
    前記カメラ制御装置は、
    前記カメラの撮像対象とする人物のそれぞれの顔が、前記カメラによる撮像範囲の中央に位置するときの顔方向情報を、撮像対象の人物ごとに記憶する記憶手段と、
    前記カメラの撮像画像信号から人物の顔の位置を検出する顔位置検出手段と、
    前記顔位置検出手段による検出結果と現在の前記カメラの撮像方向を示す情報とを基に前記顔方向情報を算出して前記記憶手段に登録する登録手段と、
    ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記記憶手段から読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御手段と、
    を有し、
    前記顔方向情報は、水平方向の角度を示す角度情報を含み、
    前記駆動制御手段は、
    前記カメラの撮像方向を現在撮像されている人物の左右いずれかの隣接人物に切り替えるための方向指示信号を受信すると、前記方向指示信号で指示された方向に対して前記カメラによる現在の撮像方向に最も近い角度情報を含む第１の顔方向情報を前記記憶手段から抽出し、
    抽出した前記第１の顔方向情報に含まれる角度情報と前記現在の撮像方向についての左右方向の角度との差分と所定のしきい値とを比較し、
    前記差分が前記しきい値より大きい場合には、前記第１の顔方向情報を用いて前記駆動装置を制御し、
    前記差分が前記しきい値以下である場合には、前記方向指示信号で指示された方向に対して前記現在の撮像方向に２番目に近い角度情報を含む第２の顔方向情報を前記記憶手段から抽出し、抽出した前記第２の顔方向情報を用いて前記駆動装置を制御する、
    ことを特徴とする電子会議システム。
11. 撮像方向を変化させる駆動装置を備えたカメラの撮像範囲を制御するためのカメラ制御方法において、
    検出手段が、前記カメラの撮像画像信号から人物の顔の位置を検出する検出ステップと、
    登録手段が、前記検出ステップによる検出結果と現在の前記カメラの撮像方向を示す情報とを基に、前記カメラの撮像対象とする複数の人物のそれぞれの顔が前記カメラによる撮像範囲の中央に位置するときの顔方向情報を算出し、検出された人物ごとにデータベースに登録する登録ステップと、
    駆動制御手段が、ユーザの操作入力により指定された人物に対応する前記顔方向情報を前記データベースから読み出し、当該顔方向情報に応じて前記駆動装置を制御して前記カメラの撮像方向を変化させる駆動制御ステップと、
    を含み、
    前記顔方向情報は、水平方向の角度を示す角度情報を含み、
    前記駆動制御ステップにおいて、前記駆動制御手段は、
    前記カメラの撮像方向を現在撮像されている人物の左右いずれかの隣接人物に切り替えるための方向指示信号を受信すると、前記方向指示信号で指示された方向に対して前記カメラによる現在の撮像方向に最も近い角度情報を含む第１の顔方向情報を前記データベースから抽出し、
    抽出した前記第１の顔方向情報に含まれる角度情報と前記現在の撮像方向についての左右方向の角度との差分と所定のしきい値とを比較し、
    前記差分が前記しきい値より大きい場合には、前記第１の顔方向情報を用いて前記駆動装置を制御し、
    前記差分が前記しきい値以下である場合には、前記方向指示信号で指示された方向に対して前記現在の撮像方向に２番目に近い角度情報を含む第２の顔方向情報を前記データベースから抽出し、抽出した前記第２の顔方向情報を用いて前記駆動装置を制御する、
    ことを特徴とするカメラ制御方法。

Images