[go: up one dir, main page]

JP2010145966A - オートフォーカスシステム - Google Patents

オートフォーカスシステム Download PDF

Info

Publication number
JP2010145966A
JP2010145966A JP2008326186A JP2008326186A JP2010145966A JP 2010145966 A JP2010145966 A JP 2010145966A JP 2008326186 A JP2008326186 A JP 2008326186A JP 2008326186 A JP2008326186 A JP 2008326186A JP 2010145966 A JP2010145966 A JP 2010145966A
Authority
JP
Japan
Prior art keywords
image
subject
tracking
captured
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008326186A
Other languages
English (en)
Other versions
JP5455361B2 (ja
Inventor
Kunio Tanida
邦男 谷田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujinon Corp
Original Assignee
Fujinon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujinon Corp filed Critical Fujinon Corp
Priority to JP2008326186A priority Critical patent/JP5455361B2/ja
Priority to EP09178515A priority patent/EP2200272B1/en
Priority to US12/634,241 priority patent/US8363108B2/en
Publication of JP2010145966A publication Critical patent/JP2010145966A/ja
Application granted granted Critical
Publication of JP5455361B2 publication Critical patent/JP5455361B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)

Abstract

【課題】パターンマッチングで人物を追尾する際、画面内に似たようなパターンが存在しても確実に追尾対象を追尾する。
【解決手段】撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のAFエリア内の被写体にピントが合うようにフォーカス調整を行うオートフォーカス手段と、撮像された画像範囲内の被写体の移動に合わせて前記AFエリアを移動させる追尾手段と、ピントを合わせる被写体の画像を基準パターンとして登録する基準パターン登録手段と、撮影画像の中から、前記基準パターンに最も合致する被写体を検出する合致画像検出手段とを備え、検出された被写体の撮影画面内における移動量が所定値より小である場合には、前記被写体の画像で基準パターンを更新するとともに移動した前記被写体に合わせてAF枠を更新し、また前記移動量が所定値以上である場合には追尾を中止することを特徴とする。
【選択図】図3

Description

本発明は、オートフォーカスシステムに係り、特に、パターンマッチングを用いてAF枠を自動追尾するシステムに関する。
従来、カメラのフォーカスを自動的に合わせるオートフォーカス(AF)システムにおいては、どこにフォーカスを合わせるか(どこにピントを合わせるか)をカメラに対して指示しなければならない。このとき、一般のカメラなどでは、フォーカスを合わせる位置は撮影範囲のセンターに固定されていて、例えば撮影範囲の中央にいる人物等にフォーカスが合うようになっていた。そして、オートフォーカス(AF)の方式としては、撮像素子により取り込まれた画像信号から被写体画像のコントラストを検出し、そのコントラストが最も高くなるように撮影レンズのフォーカスを制御することによって最良ピント状態に自動でピント合わせをするコントラスト方式が採用されていた。
なお、カメラの撮影範囲のうちAFの対象とする被写体の範囲、又はカメラの撮影画像を再生した場合の撮影画像の画面のうちAFの対象とする被写体の画面上での範囲をAFエリアといい、そのAFエリアの輪郭を示す枠をAF枠という。
ところで、動いている被写体を撮影する場合などにおいては、このようにフォーカスを合わせる位置が固定されていては都合が悪い。そこで、例えば、テレビカメラなどで、スポーツのように被写体の動きの激しいシーンを撮影する場合において、撮影画像中からピントを合わせる対象被写体を検出して追尾するために、フォーカス対象(合焦対象)の被写体の画像を基準パターンとして記憶し、新たに取り込んだフレームの撮影画像においてその基準パターン画像と最も合致する画像をパターンマッチングにより検出し、対象被写体の位置を検出するようにしたものが知られている(例えば、特許文献1等参照)。
特開2006−258944号公報
しかしながら、上記従来のように、AF枠を自動追尾するアルゴリズムにパターンマッチングを使用した場合、例えば同じユニフォームを着用したスポーツの撮影などにおいて、画面内に似たようなパターンが複数存在すると、誤って追尾してしまう虞れがあるという問題がある。
本発明は、このような事情に鑑みてなされたもので、AF枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内に似たようなパターンが複数存在しても確実に追尾対象を追尾することができるオートフォーカスシステムを提供することを目的とする。
前記目的を達成するために、請求項1に記載の発明は、光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のAFエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記AFエリアを移動させる追尾手段と、前記撮像手段により撮像された撮影画像の中からピントを合わせる被写体の画像を基準パターンとして登録する基準パターン登録手段と、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する被写体を検出する合致画像検出手段と、を備え、前記合致画像検出手段により検出された被写体の、前記撮像手段の撮影画面内における移動量が所定値より小である場合には、今回検出された前記被写体の画像で基準パターンを更新するとともに移動した前記被写体に合わせてAF枠を更新し、また前記移動量が所定値以上である場合には、前記追尾手段は追尾を中止することを特徴とするオートフォーカスシステムを提供する。
これにより、AF枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内に似たようなパターンが複数存在しても確実に追尾対象を追尾することが可能となる。
また、請求項2に示すように、請求項1に記載のオートフォーカスシステムであって、前記追尾手段が前記撮影画像中の被写体の追尾を中止したときは、その後、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像が合致画像検出手段により検出された場合には、前記追尾手段は該検出された画像中の被写体の追尾を再開することを特徴とする。
これにより、一旦追尾が中断しても再度追尾対象を検出することにより追尾を続行することができる。
また、請求項3に示すように、請求項1または2に記載のオートフォーカスシステムであって、前記所定値は、前記撮像手段のパン/チルト動作に応じて変更されることを特徴とする。
これにより、より撮影実態に適応した被写体追尾を実行することができる。
また、請求項4に示すように、前記撮像手段は、一定の周期で撮像画像の取り込みを行うことを特徴とする。
これにより、基準パターンを常に最新の画像で更新することができる。
以上説明したように、本発明によれば、AF枠を自動追尾するシステムにおいて、パターンマッチングで人物を追尾する際、画面内に似たようなパターンが複数存在しても確実に追尾対象を追尾することが可能となる。
以下、添付図面を参照して、本発明に係るオートフォーカスシステムについて詳細に説明する。
図1は、本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。このビデオカメラシステムは、例えば、放送用テレビカメラでの撮影に用いられる撮像システムである。
図1に示すように、本実施形態のビデオカメラシステム1は、テレビカメラ10、画像処理ユニット18等を有して構成されている。
テレビカメラ10は、ハイビジョンテレビ[HD(High Definition)TV]方式に対応したHDカメラからなるカメラ本体12と、カメラ本体12のレンズマウントに装着される撮影レンズ(光学系)を備えたレンズ装置14とから構成される。なお、図示は省略するが、カメラ本体12は雲台上に旋回方向(パン)及び上下傾動方向(チルト)に移動可能に支承されている。
カメラ本体12には、撮像素子(例えばCCD)や所要の信号処理回路等が搭載されており、レンズ装置14の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてHDTV方式の映像信号(HDTV信号)として、カメラ本体12の映像信号出力端子等から外部に出力される。
また、カメラ本体12は、ビューファインダ13を備えており、テレビカメラ10により現在撮影されている映像等がビューファインダ13に表示されるようになっている。また、ビューファインダ13には、各種情報が表示されるようになっており、例えば、後述のオートフォーカスにおいてピント合わせの対象範囲となるAF枠が撮影映像に重畳されて表示されるようになっている。
レンズ装置14は、カメラ本体12のレンズマウントに装着される撮影レンズ(ズームレンズ)24を備えている。撮影レンズ24により、被写体16がカメラ本体12の撮像素子の撮像面に結像されるようになっている。撮影レンズ24には、図示を省略するが、その構成部としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ(サーボ機構)によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス(被写体距離)調整が行われ、またズームレンズ群が移動することによって焦点距離(ズーム倍率)調整が行われる。
なお、オートフォーカス(AF)に関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。また、所定の可動部を操作者の操作に従って電動駆動する場合には、図示しない操作手段(レンズ装置14に接続されるコントローラの操作手段等)から操作者の操作に従って出力されるコントール信号に基づいて可動部の動作が制御されるが詳細は省略する。
また、レンズ装置14には、AFユニット26及び図示しないレンズCPU等が搭載されている。レンズCPUはレンズ装置14全体を統括制御するものである。また、AFユニット26は、AFによるフォーカス制御(自動ピント調整)を行うために必要な情報を取得するための処理部であり、図示を省略するが、AF処理部、AF用撮像回路等から構成されている。AF用撮像回路はAF処理用の映像信号を取得するためにレンズ装置14に配置されており、撮像素子CCD等の撮像素子(AF用撮像素子という)やAF用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。なお、AF用撮像回路から出力される映像信号は輝度信号である。
AF用撮像素子の撮像面には、撮影レンズ24の光路上に配置されたハーフミラー等によってカメラ本体12の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。AF用撮像素子の撮像エリアに対する撮影範囲及び被写体距離(ピントが合う被写体の距離)は、カメラ本体12の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、AF用撮像素子により取り込まれる被写体画像は、カメラ本体12の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、AF用撮像素子の撮影範囲の方がカメラ本体12の撮像素子の撮影範囲を包含する大きな範囲であってもよい。
AF処理部は、AF用撮像回路から映像信号を取得し、その映像信号に基づいて被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、AF用撮像素子から得られた映像信号の高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうちAFの対象とするAFエリアに対応する範囲の信号を1画面(1フレーム)分ずつ積算する。このようにして1画面分ごとに得られる積算値は被写体画像のコントラストの高低を示し、焦点評価値としてレンズCPUに与えられる。
レンズCPUは、AFエリアの範囲(輪郭)を示すAF枠の情報(AF枠情報)を、後述するように画像処理ユニット18から取得し、そのAF枠情報により指定されたAF枠内の範囲をAFエリアとしてAF処理部に指定する。そして、そのAFエリア内の画像(映像信号)により求められる焦点評価値をAF処理部から取得する。
このようにしてAF用撮像回路から1画面分の映像信号が取得されるごとに(AF処理部で焦点評価値が求められるごとに)AF処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大(極大)、即ち、AF枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、AF枠内の被写体に自動でピントが合わせられる。
なお、上述のAF処理部は、焦点評価値を算出するためにレンズ装置に搭載されたAF用撮像素子から映像信号を取得しているが、カメラ本体12の撮像素子より撮影された映像の映像信号をカメラ本体12から取得するような構成としてもよい。また、AF枠内の被写体に自動でピントを合わせるためのAF手段はどのようなものであってもよい。
また、カメラ本体12とレンズ装置14、レンズ装置14と後述の画像処理ユニット18とは、各装置に設けられたシリアル通信コネクタが直接的又はケーブル等を介して接続される。これによって、カメラ本体12とレンズ装置14とが、それぞれに設けられたシリアル通信インターフェイス(SCI)12a及び14aを介して様々な情報の送受信をシリアル通信により行うようになっている。また、レンズ装置14と画像処理ユニット18とが、それぞれに設けられたシリアル通信インターフェイス14a及び30aとの間で様々な情報の送受信をシリアル通信により行うようになっている。
また、カメラ本体12の映像出力コネクタと画像処理ユニット18の映像入力コネクタとが、ダウンコンバータ28を介してケーブルで接続される。これによって、カメラ本体12の映像出力コネクタから出力されたHDTV信号は、ダウンコンバータ28によって、標準テレビ[NTSC(National Television System Committee)]方式の映像信号(SDTV信号)に変換(ダウンコンバート)されて、画像処理ユニット18に入力されるようになっている。
詳しくは後述するが、画像処理ユニット18は、撮像された被写体画像中の被写体人物について基準パターンとパターンマッチングを行い、それがオートフォーカスをかけて自動追尾するように設定された被写体(フォーカス対象)であると認定された場合には、AFユニット26を通じてレンズ装置14をオートフォーカス制御するものである。
また、顔認証を行い、現在撮影中の被写体がオートフォーカスをかけて自動追尾する対象であるか否かを判定することもできる。このように、パターンマッチングや顔認証を行うためには、HDTV信号による高精細な画像である必要はなく、標準テレビ方式の映像信号(SDTV信号)の画像で充分であるので、上述したように、カメラ本体12から出力されたHDTV信号をダウンコンバータ28によってSDTV信号に変換するようにしたものである。
画像処理ユニット18は、上記のようにレンズ装置14のAFユニット26によりAFによるフォーカス制御を実施する際のAF枠の範囲(位置、大きさ、形状(縦横比))の指定を行うための装置であり、テレビカメラ10の撮影画像(撮影画面)内でのAF枠の範囲を指定するAF枠情報が画像処理ユニット18からレンズ装置14に上記シリアル通信により与えられるようになっている。AFユニット26では、画像処理ユニット18からのAF枠情報に基づいてAF枠の範囲を設定して上記のようにAFの処理を実行する。
画像処理ユニット18は、主としてメインボード30、パターンマッチング処理演算ボード32、顔認証処理演算ボード34から構成されている。メインボード30、パターンマッチング処理演算ボード32、顔認証処理演算ボード34の各々にはCPU38、50、52が搭載されており、各ボード毎に個別の演算処理が行われると共に、各CPU38、50、52は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。また、画像処理ユニット18は、顔認証処理を行うための顔認証データを格納した顔認証データカード74を有している。
画像処理ユニット18における処理は、メインボード30において統括的に行われるようになっている。そのメインボード30には、演算処理を行う上記CPU38の他に、SCI30a、デコーダ(A/D変換器)36、スーパーインポーザ42、RAM40等が搭載されている。
SCI30aは、上述のようにレンズ装置14のSCI14aとの間でシリアル通信を行うためのインターフェイス回路であり、上記AF枠情報等をレンズ装置14に送信する。
デコーダ36は、上記ダウンコンバータ28から画像処理ユニット18に入力されるテレビカメラ10において撮影映像の映像信号(SDTV信号)を、画像処理ユニット18においてデジタル処理可能なデータに変換するための回路であり、アナログのSDTV信号をデジタルデータの映像信号に変換するA/D変換処理等を行っている。
RAM40は、CPU38の演算処理において使用するデータを一時的に格納するメモリである。
一方、パターンマッチング処理演算ボード32や顔認証処理演算ボード34は、パターンマッチングと顔検出・認証処理を個別に行うための演算ボードであり、各々、演算処理を行うCPU50、52の他に画像データを一時的に格納するVRAM54、56等を備えている。
また、画像処理ユニット18には、操作部20が一体的に設けられ、又は、操作部20の一部又は全ての操作部材が画像処理ユニット18とは別体の装置に設けられてケーブル等で接続されている。
詳細は省略するが、操作部20には、AF枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材60(例えば、ジョイスティックやトラックボール)、AF枠の大きさを手動操作により変更するためのサイズ操作部材62(例えば、ツマミ)、AF枠の形状を手動操作により変更するための形状操作部材64(例えば、ツマミ)、自動追尾の開始を指示する追尾開始スイッチ68、自動追尾の停止を指示する追尾停止スイッチ70が設けられており、これらの操作部材60、62、64、68、70の設定状態が、画像処理ユニット18におけるメインボード30のCPU38により読み取られるようになっている。
なお、タッチパネル付LCD66は、AF枠の自動追尾に関するモード等の設定をタッチ操作で入力できるようにしたもので、画像処理ユニット18のCPU38によりLCD66に表示される画像は、設定内容に応じて適宜切り換えられるようになっている。
また、タッチパネル付LCD66に表示される画像は、メインボード30のスーパーインポーザ42を介して与えられるようになっており、そのスーパーインポーザ42では、デコーダ36から与えられるテレビカメラ10の撮影映像の映像信号と、CPU38で生成される画像信号の合成が行えるようになっている。これによって、カメラ本体12に設定されているビューファインダ13と同様にテレビカメラ10で撮影されている撮影映像と現在設定されているAF枠の画像とを重畳させた映像をタッチパネル付LCD66に表示させることが可能であり、この画面上でのタッチ操作により、ユーザは、上記操作部材60、62、64、68、70で行うのと同様の操作を行うことができるようになっている。
また、操作部20には、タッチパネル付LCD66の他に、外部モニタ72が設けられており、タッチパネル付LCD66に表示されるのと同じ画像が表示されるようになっている。そして、外部モニタ72は、カメラマン以外の例えばフォーカスマンなどがこれを見て、そのタッチパネル機能により適宜指示を入力することができるようになっている。
本実施形態は、AF枠を自動追尾するシステムにおいて、パターンマッチングで物体を追尾するとき、画面内に複数の似たようなパターンが存在した場合に、画面内で移動量の大きいデータを無視することによって、誤って追尾するのを防ぐようにしたものである。
この画面内で移動量の大きいデータを無視するという本発明のポイントについて、図2を用いて説明する。
図2に示すように、撮影画面80上に被写体82の被写体画像84が撮像されているとする。図2においては、被写体82は人物の顔であるが、その被写体画像84の大きさを撮影画面80の1/8程度にすることが望ましい。
いま、撮影画面80の大きさを2/3”イメージサイズとする。このとき撮影画面80の横幅Wは9.59mmである。また、画素数(画像処理画素)は640画素である。また、被写体82の顔の幅Hは200mm、被写体距離Lは10m(10000mm)とする。
上記のような条件で被写体画像84の顔の幅H’が撮影画面80の幅Wの1/8となるように撮影する場合の焦点距離fを求めると、焦点距離fは、次式、f=L×H’/Hによって求められるので、これに上記数値を入れると次のようになる。
すなわち、焦点距離はf=10000×(9.59/8)/200=59.9375=約60mmとなる。
また、被写体が人物の場合、最も速く移動するとしてもせいぜい100mを10秒前後である。通常のテレビカメラの場合1秒間に30フレームを伝送するので、100mを10秒で移動する場合、1フレームで、10/30=0.33m=330mm移動することになる。
撮影画面80上での移動距離(移動量)は、例えば図2中の記号を用いると、H’=H×f/Lで計算できる。
これに上記値を入れて計算すると、H’=330×60/10000=1.98mmとなる。
これは画素数でいうと、1.98×640/9.59=132画素である。結局、撮影画面内で人が1フレームで最速で移動できる量は、画素でいうと132画素である。なお、このような状況においては、人物をパンして追いかけるので移動画素は少なくなる。
このように、人物を追尾している場合、人物が最速で移動しても撮影画面でせいぜい132画素であるので、例えば同じユニフォームを着用した選手が多数画面内に存在しているような場合に、画面の中央に追尾対象が存在し、そこにAF枠があったとき、皆同じユニフォームなので、次に画面の端にいる選手を誤って追尾対象と判定してしまったとしても、画面中央から画面端部まで人間がそんなに速く移動することはあり得ない。
そこで、パターンマッチングで人物の追尾を実行した場合、1フレームで大きく(例えば、100画素以上)移動したと判断されるような場合には、人間の場合本来そのようなことはあり得ないので、エラーであると判断することにより、似たような被写体を誤って追尾してしまうのを防止しようというものである。
次に、本実施形態の作用をフローチャートに沿って説明する。
図3は、本実施形態の作用を示すフローチャートである。
まず、図3のステップS100において、カメラマンは撮影を開始するにあたり、ビューファインダ13あるいはタッチパネル付LCD66の画面に表示された映像及びAF枠を見ながら操作部20の位置操作部材60、サイズ操作部材62、形状操作部材64等の操作部材を操作し、ピント合わせの対象として追尾する対象物がAF枠の範囲に収まるようにAF枠の範囲を設定する。これによって、レンズ装置14のレンズCPUにおけるAFの処理によりその対象物にピントが合わせられる。
ステップS110において追尾がスタートすると、ステップS120において、画像処理ユニット18のCPU38は、レンズ装置14のAFユニット26(AF処理部)から与えられる映像信号から1画面分(1フレーム分)の撮影画像を取り込む。
そして、ステップS130において、後でパターンマッチングに用いられる基準パターンを登録するためのバッファを確保して、当初取り込まれた撮影画像から得られた追尾対象である同じ画像を格納し、基準パターンの登録を行う。
次にステップS140において、画像処理ユニット18は、前回の画像取り込みから所定時間経過した後に1画面分の撮影画像を前回と同様に取り込む。
そして、ステップS150において、画像処理ユニット18は、パターンマッチング処理演算ボード32において、今取り込んだ撮影画像と基準パターンとの間でパターンマッチング処理を行う。
そして、ステップS160において、画像処理ユニット18のメインボード30のCPU38は、パターンマッチングの結果から、被写体が撮影画面内で移動したか否か判断する。
被写体が移動した場合には、さらにCPU38は、次のステップS170で、その移動量が100画素より小か否か判断する。撮影画面内における前回の被写体の位置は、最新の画像として基準パターンに登録されているので、ここで言う移動量は、今回検出された被写体の基準パターンに対する撮影画面内における移動量として、パターンマッチング処理演算ボード32におけるパターンマッチングの結果を用いて、画像処理ユニット18のメインボード30のCPU38において算出される。
撮影画面内における被写体の移動量が100画素より小の場合には、次のステップS180において、今パターンマッチングを行った最新の撮影画像で基準パターンを更新し、さらに、ステップS190において、移動した被写体にあわせてAF枠を更新する。
また、ステップS160の判断において、被写体が撮影画面内で移動していないと判定された場合には、基準パターンの更新もAF枠の更新も行わずに、ステップS140に戻り次の撮影画像を取り込む。
また、被写体が移動した場合に、ステップS170において、その撮影画面内での移動量が100画素以上である場合には、エラーであると判断して、追尾を中止し、基準パターンの更新もAF枠の更新も行わずに、ステップS140に戻り次の撮影画像を取り込むようにする。そして、以後取り込まれた撮影画像中にパターンマッチングにより追尾対象が検出されたら、追尾を再開する。
なお、ステップS170において撮影画面内における被写体の移動量が大きいか否か判断する基準値として、上では100画素としたが、これに限定されるものではない。例えば、人物をパンして追いかける場合には移動画素は少なくなる。そこで、パンやチルトの動作に応じて、例えば100画素より小さく、70〜80画素のように、この基準値を変更するようにしてもよい。
以上説明したように、本実施形態においては、パターンマッチングの結果、被写体が撮影画面内で大きく移動した場合にはエラーとすることで、撮影画面内に似たようなパターンが複数存在する場合に、本来の追尾対象に似た他の対象を誤って追尾するのを防止することが可能となる。
以上、本発明のオートフォーカスシステムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。
本発明に係るオートフォーカスシステムが適用されたビデオカメラシステムの一実施形態の全体構成を示したブロック図である。 画面内における被写体の移動量についての説明図である。 本実施形態の作用を示すフローチャートである。
符号の説明
1…ビデオカメラシステム、10…テレビカメラ、12…カメラ本体、13…ビューファインダ、14…レンズ装置、16…被写体、18…画像処理ユニット、20…操作部、24…撮影レンズ、26…AFユニット、28…ダウンコンバータ、30…メインボード、32…パターンマッチング処理演算ボード、34…顔認証処理演算ボード、66…タッチパネル付LCD、72…外部モニタ

Claims (4)

  1. 光学系により結像された被写体像を撮像する撮像手段と、
    前記撮像手段により撮像された撮影画像のうち、所定のAFエリア内の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、
    前記撮像手段によって撮像された画像範囲内の被写体の移動に合わせて前記AFエリアを移動させる追尾手段と、
    前記撮像手段により撮像された撮影画像の中からピントを合わせる被写体の画像を基準パターンとして登録する基準パターン登録手段と、
    前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する被写体を検出する合致画像検出手段と、
    を備え、前記合致画像検出手段により検出された被写体の、前記撮像手段の撮影画面内における移動量が所定値より小である場合には、今回検出された前記被写体の画像で基準パターンを更新するとともに移動した前記被写体に合わせてAF枠を更新し、また前記移動量が所定値以上である場合には、前記追尾手段は追尾を中止することを特徴とするオートフォーカスシステム。
  2. 請求項1に記載のオートフォーカスシステムであって、前記追尾手段が前記撮影画像中の被写体の追尾を中止したときは、その後、前記撮像手段により撮像された撮影画像の中から、前記基準パターンに最も合致する画像が合致画像検出手段により検出された場合には、前記追尾手段は該検出された画像中の被写体の追尾を再開することを特徴とするオートフォーカスシステム。
  3. 請求項1または2に記載のオートフォーカスシステムであって、前記所定値は、前記撮像手段のパン/チルト動作に応じて変更されることを特徴とするオートフォーカスシステム。
  4. 前記撮像手段は、一定の周期で撮像画像の取り込みを行うことを特徴とする請求項1〜3のいずれかに記載のオートフォーカスシステム。
JP2008326186A 2008-12-22 2008-12-22 オートフォーカスシステム Active JP5455361B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008326186A JP5455361B2 (ja) 2008-12-22 2008-12-22 オートフォーカスシステム
EP09178515A EP2200272B1 (en) 2008-12-22 2009-12-09 Autofocus system
US12/634,241 US8363108B2 (en) 2008-12-22 2009-12-09 Autofocus system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008326186A JP5455361B2 (ja) 2008-12-22 2008-12-22 オートフォーカスシステム

Publications (2)

Publication Number Publication Date
JP2010145966A true JP2010145966A (ja) 2010-07-01
JP5455361B2 JP5455361B2 (ja) 2014-03-26

Family

ID=41666482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008326186A Active JP5455361B2 (ja) 2008-12-22 2008-12-22 オートフォーカスシステム

Country Status (3)

Country Link
US (1) US8363108B2 (ja)
EP (1) EP2200272B1 (ja)
JP (1) JP5455361B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069064A (ja) * 2013-09-30 2015-04-13 株式会社ニコン 被写体追尾装置、撮像装置及び被写体追尾プログラム
CN108765653A (zh) * 2018-05-17 2018-11-06 东莞市华睿电子科技有限公司 一种电气设备接入的倒闸柜的柜门控制方法
CN108765654A (zh) * 2018-05-17 2018-11-06 东莞市华睿电子科技有限公司 一种基于超声波测距触发的柜门控制方法
CN108876984A (zh) * 2018-05-17 2018-11-23 东莞市华睿电子科技有限公司 一种红外热成像与人像的属性信息结合的自动控制方法
CN108921982A (zh) * 2018-05-17 2018-11-30 东莞市华睿电子科技有限公司 一种云平台与人体红外热成像相结合的智能控制方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5810505B2 (ja) * 2010-11-01 2015-11-11 株式会社ソシオネクスト 撮像制御装置、撮像装置、及び撮像制御方法
JP6351992B2 (ja) * 2014-02-17 2018-07-04 株式会社Screenホールディングス 変位検出装置、基板処理装置、変位検出方法および基板処理方法
CA3077830C (en) * 2016-12-05 2023-03-07 Avigilon Coporation System and method for appearance search
US10432853B2 (en) 2017-02-27 2019-10-01 Sony Corporation Image processing for automatic detection of focus area

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245560A (ja) * 2001-02-19 2002-08-30 Matsushita Electric Ind Co Ltd 監視システム
JP2006258944A (ja) * 2005-03-15 2006-09-28 Fujinon Corp オートフォーカスシステム
JP2007096379A (ja) * 2005-09-27 2007-04-12 Casio Comput Co Ltd 撮像装置、画像記録検索装置およびプログラム
JP2008123416A (ja) * 2006-11-15 2008-05-29 Nikon Corp 被写体追跡プログラム、被写体追跡装置、およびカメラ
JP2008170845A (ja) * 2007-01-15 2008-07-24 Seiko Epson Corp 表示制御装置、画像表示装置、表示制御装置の制御方法および制御プログラム
JP2008187332A (ja) * 2007-01-29 2008-08-14 Nikon Corp 画像追尾装置および撮像装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU609982B2 (en) * 1988-05-11 1991-05-09 Sanyo Electric Co., Ltd. Image sensing apparatus having automatic focusing function for automatically matching focus in response to video signal
US5694625A (en) * 1994-09-07 1997-12-02 Nikon Corporation Camera provided with an automatic focus adjusting apparatus
JP3054603B2 (ja) * 1997-05-15 2000-06-19 三洋電機株式会社 自動焦点装置
JP4090276B2 (ja) * 2002-05-28 2008-05-28 富士フイルム株式会社 デジタルカメラ
JP4413235B2 (ja) * 2006-02-22 2010-02-10 三洋電機株式会社 電子カメラ
JP4804194B2 (ja) * 2006-03-30 2011-11-02 キヤノン株式会社 レンズ装置及び撮像装置
EP1909229B1 (en) 2006-10-03 2014-02-19 Nikon Corporation Tracking device and image-capturing apparatus
JP2008187591A (ja) * 2007-01-31 2008-08-14 Fujifilm Corp 撮像装置及び撮像方法
JP4429328B2 (ja) 2007-02-09 2010-03-10 キヤノン株式会社 自動合焦装置とその制御方法並びに撮像装置
CN101750845B (zh) * 2008-12-12 2012-02-15 三星电机株式会社 自动聚焦方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245560A (ja) * 2001-02-19 2002-08-30 Matsushita Electric Ind Co Ltd 監視システム
JP2006258944A (ja) * 2005-03-15 2006-09-28 Fujinon Corp オートフォーカスシステム
JP2007096379A (ja) * 2005-09-27 2007-04-12 Casio Comput Co Ltd 撮像装置、画像記録検索装置およびプログラム
JP2008123416A (ja) * 2006-11-15 2008-05-29 Nikon Corp 被写体追跡プログラム、被写体追跡装置、およびカメラ
JP2008170845A (ja) * 2007-01-15 2008-07-24 Seiko Epson Corp 表示制御装置、画像表示装置、表示制御装置の制御方法および制御プログラム
JP2008187332A (ja) * 2007-01-29 2008-08-14 Nikon Corp 画像追尾装置および撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015069064A (ja) * 2013-09-30 2015-04-13 株式会社ニコン 被写体追尾装置、撮像装置及び被写体追尾プログラム
CN108765653A (zh) * 2018-05-17 2018-11-06 东莞市华睿电子科技有限公司 一种电气设备接入的倒闸柜的柜门控制方法
CN108765654A (zh) * 2018-05-17 2018-11-06 东莞市华睿电子科技有限公司 一种基于超声波测距触发的柜门控制方法
CN108876984A (zh) * 2018-05-17 2018-11-23 东莞市华睿电子科技有限公司 一种红外热成像与人像的属性信息结合的自动控制方法
CN108921982A (zh) * 2018-05-17 2018-11-30 东莞市华睿电子科技有限公司 一种云平台与人体红外热成像相结合的智能控制方法

Also Published As

Publication number Publication date
US8363108B2 (en) 2013-01-29
JP5455361B2 (ja) 2014-03-26
US20100157065A1 (en) 2010-06-24
EP2200272B1 (en) 2012-12-05
EP2200272A1 (en) 2010-06-23

Similar Documents

Publication Publication Date Title
JP4525089B2 (ja) オートフォーカスシステム
JP5455361B2 (ja) オートフォーカスシステム
JP2006258944A (ja) オートフォーカスシステム
JP2010124120A (ja) オートフォーカスシステム
JP2010096962A (ja) Af枠自動追尾機能を備えたオートフォーカスシステム
JP5384172B2 (ja) オートフォーカスシステム
JP5426874B2 (ja) オートフォーカスシステム
JP2005338352A (ja) オートフォーカスシステム
JP2010117663A (ja) オートフォーカスシステム
JP2006058431A (ja) オートフォーカスシステム
JP2010230870A (ja) オートフォーカスシステム
JP4596246B2 (ja) オートフォーカスシステム
JP2010230871A (ja) オートフォーカスシステム
JP5081133B2 (ja) オートフォーカスシステム
JP2010085530A (ja) オートフォーカスシステム
JP2006113265A (ja) オートフォーカスシステム
JP5328616B2 (ja) Af枠自動追尾システム
JP2010096963A (ja) Af枠自動追尾機能を備えたオートフォーカスシステム
JP2006267220A (ja) オートフォーカスシステム
JP2010117487A (ja) オートフォーカスシステム
JP2006119471A (ja) オートフォーカスシステム
JP5384173B2 (ja) オートフォーカスシステム
JP2010164637A (ja) Af枠自動追尾システム
JP2011027846A (ja) Af枠自動追尾システム
JP2011022499A (ja) オートフォーカスシステム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100618

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120831

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140107

R150 Certificate of patent or registration of utility model

Ref document number: 5455361

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250