[go: up one dir, main page]

JP6587489B2 - 画像処理装置、画像処理方法および画像処理システム - Google Patents

画像処理装置、画像処理方法および画像処理システム Download PDF

Info

Publication number
JP6587489B2
JP6587489B2 JP2015199632A JP2015199632A JP6587489B2 JP 6587489 B2 JP6587489 B2 JP 6587489B2 JP 2015199632 A JP2015199632 A JP 2015199632A JP 2015199632 A JP2015199632 A JP 2015199632A JP 6587489 B2 JP6587489 B2 JP 6587489B2
Authority
JP
Japan
Prior art keywords
image
human body
information
image processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015199632A
Other languages
English (en)
Other versions
JP2017073670A (ja
Inventor
安達 啓史
啓史 安達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015199632A priority Critical patent/JP6587489B2/ja
Priority to US15/279,179 priority patent/US20170104915A1/en
Priority to EP16191560.8A priority patent/EP3153990A1/en
Priority to KR1020160128780A priority patent/KR102111935B1/ko
Priority to CN201610879108.1A priority patent/CN106572298A/zh
Publication of JP2017073670A publication Critical patent/JP2017073670A/ja
Application granted granted Critical
Publication of JP6587489B2 publication Critical patent/JP6587489B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像の解析処理に係る情報を表示させる画像処理装置、画像処理方法および画像処理システムに関する。
監視カメラシステムの分野では、画像解析技術を利用して、画像から所定の条件に合致した物体を検出する物体検出技術がある。検出対象となる物体は、人体、顔、車のナンバープレートの文字など、多様である。
このような監視カメラシステムでは、複数のカメラによって所定の監視領域を異なる角度や画角で監視する場合がある。特許文献1には、所定のカメラの撮像画像上に、他のカメラの撮像範囲を示す画像を重畳表示することで、ユーザが複数のカメラの撮像範囲を容易に把握できるようにする点が開示されている。
特許第5727207号公報
ところで、物体検出技術においては、被写体となる物体が撮像される角度により検出率や検出精度が異なる。
特許文献1に記載の技術では、ユーザは、解析処理の対象となる物体が撮像範囲内に入るようにカメラを設定することはできるが、その設定が、解析処理が適切に行われる設定であるかどうかを確認することはできない。そのため、解析処理が適切に行われるように、ユーザがカメラの撮像条件や解析処理のパラメータを調整することは困難である。
そこで、本発明は、画像に対する解析処理を適切に行うための設定をユーザが容易に行うことを補助することを目的としている。
本発明に係る画像処理装置の一態様は、少なくとも第一の撮像装置の撮像方向に関する情報を取得する第一の取得手段と、前記第一の取得手段により取得された情報に基づいて、前記第一の撮像装置が撮像した画像内における、前記画像内の物体に対する解析処理が可能な第一領域を導出する第一の導出手段と、前記第一の撮像装置が撮像した前記画像内における、前記第一の撮像装置とは異なる第二の撮像装置が撮像した第二画像内の物体に対する解析処理が可能な第二領域を導出する第二の導出手段と、前記第一の導出手段により導出された前記第一領域と、記第二の導出手段により導出された前記第二領域とを表示装置に合成表示させる表示制御手段と、を備える。
本発明によれば、画像に対する解析処理を適切に行うための設定をユーザが容易に行うことを補助することができる。
画像処理システムの一例を示すネットワーク接続構成図である。 撮像装置のハードウェア構成の一例である。 撮像装置の機能ブロック図である。 物体と人体との対応付けの例を示す図である。 軌跡管理部が管理する情報の一例である。 カメラ情報および人体検出用パラメータの構成例である。 画像処理装置の動作を説明するためのフローチャートである。 人体検出可能領域の算出処理手順を示すフローチャートである。 人体検出可能領域の算出方法を説明する図である。 人体検出可能領域の表示画面の一例である。 人体検出可能領域の算出方法を説明する図である。 人体検出可能領域の表示画面の一例である。 複数の撮像装置の設置状態を示す図である。 複数の人体検出可能領域の表示例である。
以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
(第一の実施形態)
図1は、本実施形態における画像処理システムの動作環境の一例を示したネットワーク接続構成図である。本実施形態では、画像処理システムをネットワークカメラシステムに適用する。
ネットワークカメラシステム10は、少なくとも1台のネットワークカメラ(以下、単に「カメラ」ともいう。)20と、少なくとも1台の情報処理装置30とを備える。カメラ20と情報処理装置30とは、ネットワーク回線であるLAN(Local Area Network)40によって接続されている。なお、ネットワーク回線はLANに限定されるものではなく、インターネットやWAN(Wide Area Network)などであってもよい。また、LAN40への物理的な接続形態は、有線であってもよいし、無線であってもよい。さらに、図1において、カメラ20および情報処理装置30は、それぞれ2台ずつLAN40に接続されているが、接続台数は図1に示す数に限定されない。なお、本実施形態のカメラ20は、画像内の物体に対して解析処理を行う画像処理装置として動作する。
カメラ20は、仰角や俯角といった水平面に対する角度(以下、「水平角度」という。)であるチルト角度の制御を行うチルト機能を有し、所定の画角で被写体を撮像する監視カメラ等の撮像装置である。このカメラ20は、画像から所定の条件に合致した特定物体を検出するための動体検出機能や人体検出機能、顔検出機能等の各種検出機能を有する。これらの検出機能は、画像処理装置によって実現され得る。
画像処理装置は、上記解析処理として、画像に対して上記検出機能を用いた検出処理を実施し、その処理結果を、上記画像と共にLAN40を介して情報処理装置30に送信可能である。また、カメラ20は、外部からの通信に応じてフォーカスなどの設定や画角を変更する機能を有する。なお、カメラ20は、魚眼カメラや多眼カメラ等であってもよい。
情報処理装置30は、例えばパーソナルコンピューター(PC)により構成されており、ユーザ(例えば、監視員)が操作可能である。この情報処理装置30は、カメラ20から配信される画像の表示や、検出処理の処理結果の表示を行う表示機能を有する表示装置としても動作する。また、情報処理装置30は、カメラ20が実行する検出処理に関するパラメータ設定などの諸操作を行うための入力機能も有する。
このように、画像処理システムは、撮像装置と、当該撮像装置と通信可能に接続された画像処理装置と、画像処理装置と通信可能に接続された表示装置とを備える。
図2は、カメラ20のハードウェア構成の一例を示す図である。カメラ20は、CPU21と、ROM22と、RAM23と、外部メモリ24と、撮像部25と、入力部26と、通信I/F27と、システムバス28とを備える。
CPU21は、カメラ20における動作を統括的に制御するものであり、システムバス28を介して、各構成部(22〜27)を制御する。ROM22は、CPU21が処理を実行するために必要なプログラムを記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ24や着脱可能な記憶媒体(不図示)に記憶されていてもよい。RAM23は、CPU21の主メモリ、ワークエリアとして機能する。つまり、CPU21は、処理の実行に際してROM22から必要なプログラムをRAM23にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。
外部メモリ24は、CPU21がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶している。また、外部メモリ24には、CPU21がプログラムを用いた処理を行うことにより得られる各種データや各種情報が記憶される。撮像部25は、被写体の撮像を行うためのものであり、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Charge Coupled Device)等の撮像素子を含んで構成される。入力部26は、各種設定ボタンや電源ボタンなどから構成され、カメラ20のユーザは、入力部26を介して当該カメラ20に指示を与えることができるようになっている。通信I/F27は、外部装置(ここでは、情報処理装置30)と通信するためのインターフェースである。通信I/F27は、例えばLANインターフェースである。システムバス28は、CPU21、ROM22、RAM23、外部メモリ24、撮像部25、入力部26および通信I/F27を通信可能に接続する。
なお、情報処理装置30の場合には、ハードウェア構成として、液晶ディスプレイ(LCD)等のモニタにより構成される表示部を具備する。また、情報処理装置30は、入力部26として、キーボードやマウス等のポインティングデバイスを具備し、情報処理装置30のユーザが情報処理装置30に対して指示を与えることができるように構成される。なお、情報処理装置30が撮像機能を有していない場合には、撮像部25は不要である。
図3は、画像処理装置200の機能構成を示すブロック図である。本実施形態では、カメラ20が画像処理装置200として動作する例を説明するが、情報処理装置30が画像処理装置200として動作してもよいし、一般のPCや他の機器が画像処理装置200として動作してもよい。画像処理装置200は、検出処理に関するパラメータの設定画面を、表示装置(例えば、情報処理装置30)の表示画面に表示させ、ユーザによる操作を入力することで、検出処理に関わる各種設定を行う機能を少なくとも有していればよい。
なお、本実施形態においては画像処理装置としているが、映像を取得し映像を一枚ごとに処理しても処理内容は同一であるため、映像処理装置にも適用可能である。
画像処理装置200は、画像取得部201と、物体検出部202と、物体追尾部203と、人体検出部204と、物体対応付部205と、軌跡管理部206と、軌跡情報判定部207と、外部出力部208と、を備える。また、画像処理装置200は、パラメータ設定部209と、パラメータ取得部(取得部)210と、表示制御部211と、を備える。
画像取得部201は、内部撮像センサ(撮像部25)が撮像した動画像(映像)若しくは静止画像を取得し、取得した動画像若しくは静止画像を物体検出部202へ送信する。なお、当該画像は、外部から供給される画像であってもよい。画像取得部201は、動画像を取得した場合は、当該動画像を構成する各フレームを順次、物体検出部202に送出する。また、画像取得部201は、静止画像を取得した場合は、この静止画像を物体検出部202に送出する。なお、動画像若しくは静止画像の供給元については特に限定するものではなく、供給元は、有線若しくは無線を介して動画像若しくは静止画像を供給するサーバ装置や撮像装置であってもよい。また、画像取得部201は、メモリ(例えば、外部メモリ24等)から動画像若しくは静止画像を取得するようにしてもよい。以下の説明では、画像取得部201は、動画像を取得した場合であっても静止画像を取得した場合であっても、物体検出部202へ1枚の画像を送出する場合について説明する。前者の場合は、この1枚の画像が動画像を構成する各フレームに相当し、後者の場合は、この1枚の画像が静止画像に相当する。
物体検出部202は、画像取得部201から取得した画像をもとに、背景差分法等により画像中の特定の物体(オブジェクト)を検出する。検出した物体の情報は、物体の画像上での位置情報と、物体の外接矩形を示す情報と、物体のサイズを示す情報とを含む。物体検出部202における物体検出処理を行う領域(物体検出処理領域)は、パラメータ設定部209が設定する。なお、ここでは説明を簡略化するため、物体検出処理領域は、画像内の全領域とする。また、物体検出部202は、画像から物体を検出する処理を行うが、その処理方法は背景差分法等の特定の方法に限定するものではなく、同様の処理を行う方法であれば適宜適用可能である。
物体追尾部203は、物体検出部202が着目画像の1つ前の画像から検出した物体と同じ物体を、着目画像から検出した場合、それぞれの画像における物体同士を対応付ける。例えば、物体追尾部203が、着目画像の1つ前の画像から物体検出部202が検出した物体に対してオブジェクトID=Aを割り当てたとする。そして、物体検出部202が着目画像からもその物体を検出した場合、物体追尾部203は、その物体に対してもオブジェクトID=Aを割り当てる。このように、物体検出部202が連続する複数画像に亘って同じ物体を検出した場合、物体追尾部203は、それぞれの物体に同じオブジェクトIDを割り当てる。なお、物体追尾部203は、着目画像において新規に検出された物体に対しては、新規のオブジェクトIDを割り当てる。物体追尾部203における物体追尾処理を行う領域(物体追尾処理領域)は、上述した物体検出処理領域と同様にパラメータ設定部209が設定する。
物体追尾部203は、連続する複数画像に亘って同じ物体であると判断する方法として、検出物体の移動ベクトルを用いて物体の移動予測位置と検出した物体位置が一定距離内であれば同一物体とする方法を用いる。また、物体追尾部203は、物体の色、形状、大きさ(面積)等を用い、連続する画像間で相関の高い物体を関連付ける方法を用いてもよい。なお、物体部追尾部203は、連続する複数画像に渡って同じ物体であると判断し追尾する処理を行うが、その処理方法は特定の方法に限るものではなく、同様の処理を行う方法であれば適宜適用可能である。
人体検出部204は、予め記憶した照合パターン辞書等を用い、パラメータ設定部209が設定した人体検出処理領域に対し、解析処理として人体検出処理を実施することで人体を検出する。ここで、人体検出部204は、画像から人体を検出する機能を有していればよく、人体検出処理はパターン処理に限定されない。
また、解析処理は、人体検出処理に限定されるものではない。解析処理は、人体領域から、目や口等のエッジを検出して人物の顔の特徴部分を検出する顔検出処理であってもよいし、検出した顔領域から個人認識に用いる特徴情報を抽出し、抽出した特徴情報をもとに顔認識を行う顔認識処理であってもよい。さらに、検出対象は人体に限定されるものではない。検出対象は、自動車、動物、車のナンバープレートの文字などであってもよい。検出対象が人体以外である場合、上記解析処理は、検出対象の特徴量(例えば自動車の場合、ナンバープレート)を検出する特徴量検出処理であってもよい。また、検出対象は、複数種類であってもよい。なお、物体検出部202の物体検出処理領域や物体追尾部203の物体追尾処理領域は、人体検出部204の人体検出処理領域と同じ領域であってもよい。
物体対応付部205は、物体検出部202が検出した物体と、人体検出部204が検出した人体とを対応付ける。図4を参照して、物体と人体との対応付けの例を説明する。図4(a)は、物体検出部202が検出した物体の外接矩形51に、人体検出部204が検出した人体Pの外接矩形52が内包されない場合の例を示す。この場合、物体の外接矩形51に対する人体の外接矩形52の重畳率が予め設定した閾値を超えた場合に対応付けを行う。ここで重畳率とは、人体の外接矩形52の面積に対する、物体の外接矩形51と人体の外接矩形52とが重畳する部分の面積の割合である。一方、図4(b)は、物体検出部202が検出した物体の外接矩形53から複数の人体P1,P2を検出した場合の例を示す。この場合、人体P1の外接矩形54および人体P2の外接矩形55のそれぞれと、物体の外接矩形53との重畳率が予め設定した閾値を超えた場合にそれぞれ対応付けを行う。
軌跡管理部206は、物体検出部202および物体追尾部203から取得される物体の情報を、管理情報(軌跡情報)として物体ごとに管理する。図5を参照して、軌跡管理部206が管理する軌跡情報の例を説明する。軌跡情報206aには、オブジェクトIDごとにオブジェクト情報206bが管理されている。1つの物体に対するオブジェクト情報206bには、当該物体が検出された画像毎の情報206cが管理されている。情報206cには、情報が作成された日時を示すタイムスタンプ(Time Stamp)や、検出された物体の座標位置(Position)が含まれる。また、情報206cには、検出された物体の領域を包含する外接矩形を規定する情報(Bounding box)、物体のサイズ(size)、物体の属性(Attribute)も含まれる。ただし、情報206cに含まれる情報は図5に示す情報に限らず、如何なる情報を含めてもよい。軌跡管理部206が管理する軌跡情報206aは、後述する軌跡情報判定部207が使用する。
軌跡管理部206は、物体対応付部205の対応付け結果に従って、物体の属性(Attribute)を更新する。さらに、過去の物体の属性(Attribute)も対応付け結果に従って更新するようにしてもよい。また、その後の物体の属性(Attribute)も対応付け結果に従って設定するようにしてもよい。このような処理を行うことで、同一のオブジェクトIDを有する物体の追尾結果は、どの時刻においても同一の属性を持つことができる。
軌跡情報判定部207は、通過物体検出部としての機能を有しており、検出対象の判定処理として、パラメータ設定部209により設定された判定パラメータと、軌跡管理部206が管理する軌跡情報206aとに従って通過判定処理を行う。ここで、通過判定処理とは、画像中における物体が、画像上に設定された物体検出用の線を通過したか否かを判定する処理である。
軌跡情報判定部207は、着目画像の1つ前の画像における人体属性オブジェクト(属性(Attribute)が人体(Human)である物体)の外接矩形から、着目画像における人体属性オブジェクトの外接矩形への移動ベクトルを算出する。そして、軌跡情報判定部207は、算出した移動ベクトルが、パラメータ設定部209によって規定される線分(検出線)と交差しているか否かを判定する。交差しているか否かを判定することは、人体属性オブジェクトが設定した線分を通過したか否かを判定することに相当する。軌跡情報判定部207による判定結果は、外部出力部208を介して情報処理装置30の表示部へ出力される。また、外部出力部208がCRTやLCDなどにより構成される表示部の機能を有している場合、情報処理装置30の表示部に代えて外部出力部208を用いて判定結果を表示してもよい。なお、ここでは、軌跡情報判定部207が実施する軌跡情報判定処理が通過判定処理である場合について説明したが、判定パラメータと軌跡情報を用いた判定処理であればどのような処理であってもよい。
パラメータ設定部209は、画像処理装置200が実施する検出処理に関する設定を行う設定アプリケーションとして機能し、物体検出部202、物体追尾部203、人体検出部204および軌跡情報判定部207へのパラメータの設定を行う。当該パラメータは、情報処理装置30のユーザインタフェースを用いて設定することもできる。
パラメータ設定部209は、人体検出部204の人体検出処理で用いるパラメータとして、上記の人体検出処理領域を設定する。本実施形態では、パラメータ設定部209は、取得部210から入力された情報をもとに、画像内における、人体検出処理が可能な領域である人体検出可能領域を算出する。そして、パラメータ設定部209は、算出した人体検出可能領域を表示制御部211に出力する。このとき、ユーザは、表示制御部211によって表示部に表示された人体検出可能領域の中で、実際に人体検出処理を行う領域をマウス等で指示することができる。パラメータ設定部209は、ユーザが指示した領域を取得し、取得した領域を人体検出処理領域として人体検出部204に設定する。人体検出可能領域の算出処理については後で詳述する。
取得部210は、カメラ情報と人体検出用パラメータとを取得する。カメラ情報は、カメラパラメータの固有値や現在値であり、図6(a)に示すように、焦点距離、水平画角、垂直画角、シャッタースピード、パン角度、チルト角度を含む。本実施形態では、取得部210は、解析処理の対象である画像を撮像した撮像装置の撮像範囲に関する情報をカメラ情報として取得し、取得した情報をパラメータ設定部209に出力する。ここで、撮像範囲に関する情報は、撮像方向と撮像画角とを示す情報である。本実施形態では、撮像範囲に関する情報として、鉛直方向の撮像方向および撮像画角の情報を用いる。すなわち、本実施形態では、カメラ20の姿勢は水平であるものとし、チルト角度を、カメラ20の鉛直方向の撮像方向を示す情報として用いる場合の例を説明する。つまり、取得部210は、チルト角度と垂直画角とをパラメータ設定部209へ出力する。
なお、カメラ20の撮像方向を示す情報は、チルト角度に限定されるものではなく、カメラ20自体の設置角度であってもよいし、チルト角度と設置角度との複合であってもよい。カメラ20の設置角度はカメラ20に内蔵された不図示の角度センサを用いて取得することができる。ただし、角度情報が得られる方法であれば、上記方法に限らない。例えば、カメラ20の設置角度の検出方法は、ジャイロセンサによって検出する方法や、撮像画像から床面などを推定して映像解析で取得する方法、ユーザによる角度手動入力によって取得する方法を用いることができる。
また、人体検出用パラメータは、図6(b)に示すように、入力画像サイズ、検出可能サイズ、有効範囲を含む。有効範囲とは、解析処理である人体検出処理の精度が保証された範囲である。この図6(b)では、有効範囲に関する情報として、人体検出精度を所定率以上保証する角度範囲である推奨範囲と、上記所定率には及ばないものの、ある程度人体検出が可能な角度範囲である検出可能範囲との2パターンが設定されている。推奨範囲は水平面に対して±30°、検出可能範囲は水平面に対して±45°の角度範囲としている。なお、有効範囲は上記2パターンに限らず、3パターン以上であってもよい。例えば、推奨範囲を±30°、準推奨範囲を±40°、検出可能範囲を±45°などとしても良い。取得部210は、人体検出用パラメータのうち、有効範囲をパラメータ設定部209に出力する。
つまり、パラメータ設定部209は、チルト角度と、垂直画角と、人体検出処理の有効範囲とを入力し、これらの情報を用いて人体検出可能領域を算出する。
表示制御部211は、パラメータ設定部209によって算出された人体検出可能領域を、画像取得部201によって取得された画像上に重畳し、情報処理装置30の表示部に表示する。また、表示制御部211は、ユーザが各種設定を指示するためのユーザインタフェースを情報処理装置30の表示部に表示し、ユーザインタフェースを介してユーザの指示を受信する。例えば、表示制御部211は、ユーザインタフェースを介して人体検出処理領域に関する情報を受信した場合、受信した情報をパラメータ設定部209に出力する。
以上のように、ユーザは、表示部に表示された人体検出可能領域を確認したうえで、人体検出処理領域を指示することができる。そのため、人体検出処理の精度が保証されていない人体検出不可能領域に人体検出処理領域が設定されることを抑止することができる。また、ユーザは、表示部に表示された人体検出可能領域を確認しながらカメラ20の撮像条件を調整することができるので、ユーザが意図した人体検出処理が行われるように人体検出処理領域を設定することができる。このように、ユーザは、効率良く人体検出処理に関する設定を行うことができる。
図3に示す画像処理装置200の各部の機能は、図2のCPU21がプログラムを実行することで実現することができる。ただし、図3に示す画像処理装置200の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、CPU21の制御に基づいて動作する。
なお、上述したように、情報処理装置30や一般のPC、または他の装置が画像処理装置200として動作することもできる。この場合、画像処理装置200として動作する装置は、人体検出可能領域の算出および表示制御を実現する各部の機能(209〜211)を少なくとも備えていればよい。つまり、各種検出処理(解析処理を含む)を実現する各部の機能(201〜208)は、カメラ20が備えていてもよい。
次に、画像処理装置200の動作について、図7を参照しながら説明する。この図7の処理は、例えばユーザによる指示入力に応じて開始される。ただし、図7の処理の開始タイミングは、上記のタイミングに限らない。画像処理装置200は、CPU21が必要なプログラムを読み出して実行することにより、図3に示す各要素の処理、および図7に示す各処理を実現する。ただし、上述したように、図3で示す各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、CPU21の制御に基づいて動作する。
まずS1において、画像処理装置200は、画像処理を継続するか否かを判定する。例えば、画像処理装置200は、処理の終了指示をユーザから受け付けたか否かに応じて処理を継続するか否かを判定する。そして、画像処理装置200は、処理を終了すると判定すると本処理を終了し、処理を継続すると判定するとS2に移行する。S2では、画像取得部201は、画像を取得し、S3に移行する。S3では、物体検出部202は、S2において取得した画像に対して物体検出処理を行う。次にS4では、物体検出部202は、S3の物体検出処理において物体が検出されたか否かを判定する。そして、物体検出部202は、物体が検出されなかったと判定した場合にはS1へ戻り、物体が検出されたと判定された場合にはS5に移行する。
S5では、物体追尾部203は、物体追尾処理を行う。次にS6において、軌跡管理部206は、S5の物体追尾処理結果に従って軌跡情報206aを更新する。次にS7では、人体検出部204は、パラメータ設定部209で設定された人体検出処理領域において、S3の物体検出処理で物体を検出した領域に対して人体検出処理を行う。次にS8では、人体検出部204は、S7の人体検出処理で人体を検出したか否かを判定する。そして、人体検出部204は、人体を検出していないと判定した場合にはS1へ戻り、人体を検出したと判定した場合にはS9へ移行する。S9では、物体対応付部205は、物体と人体との対応付け処理を行う。次にS10で、軌跡管理部206は、S9の対応付け処理結果に基づいて、軌跡情報206aを更新する。S11では、軌跡情報判定部207は、軌跡情報判定処理を行い、物体が検出線を通過したか否かを判定する。そして、S12では、外部出力部208は、軌跡情報判定処理の結果を外部へ出力し、S1へ戻る。
次に、画像処理装置200が実行する人体検出可能領域の算出処理について、図8を参照しながら説明する。この図8の処理は、例えばユーザによる指示入力に応じて開始される。ただし、図8の処理の開始タイミングは、上記のタイミングに限らない。画像処理装置200は、CPU21が必要なプログラムを読み出して実行することにより、図3に示す各要素の処理、および図8に示す各処理を実現する。ただし、上述したように、図3で示す各要素のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、CPU21の制御に基づいて動作する。
先ずS21において、画像処理装置200は、人体検出可能領域の算出処理を継続するか否かを判定する。例えば、画像処理装置200は、処理の終了指示をユーザから受け付けたか否かに応じて処理を継続するか否かを判定する。そして、画像処理装置200は、処理を終了すると判定すると本処理を終了し、処理を継続すると判定するとS22に移行する。S22では、画像処理装置200は、人体検出可能領域の表示更新指示があるか否かを判定する。例えば、画像処理装置200は、人体検出可能領域の表示アプリケーションから起動直後等に指示があった場合や、カメラ20のチルト角度が変更された場合に、人体検出可能領域の表示更新指示があると判定する。そして、画像処理装置200は、表示更新指示がないと判定するとS21に戻り、表示更新指示があると判定するとS23に移行する。
S23では、パラメータ設定部209は、取得部210からカメラ20の水平角度であるチルト角度、カメラ20の垂直画角、および人体検出処理の有効範囲を取得し、S24に移行する。S24では、パラメータ設定部209は、S23において取得した情報に基づいて人体検出可能領域を算出し、S25に移行する。S25では、パラメータ設定部209は、S24において算出した人体検出可能領域を情報処理装置30の表示部に表示(または更新)し、S21へ戻る。
図9は、人体検出可能領域の具体的な算出方法を説明する図である。この図9は、天井60に設置されたカメラ20と人体Pとを真横から見た側面図である。
カメラ20は、天井60に俯角30°で設置されており、天井60から人体Pを見下ろす方向に撮像している。つまり、人体Pからは仰角30°の位置にカメラ20が設置されている。また、図6(a)に示すように、カメラ20の垂直方向における撮像範囲を示す垂直画角は90°、人体検出処理の有効範囲は±30°である。したがって、カメラ20の撮像範囲の垂直方向の角度61aは90°、人体検出処理の有効範囲の垂直方向の角度62aは60°である。また、画像内における人体検出可能領域に対応するカメラ20の設置空間における人体検出可能範囲は、カメラ20の撮像範囲内における有効範囲であり、撮像範囲と有効範囲とが重複する範囲63aとなる。この人体検出可能範囲63aの垂直方向の角度64aは45°である。
このように、人体検出可能範囲63aは、カメラ20の水平角度(チルト角度)と、カメラ20の垂直画角とによって表されるカメラ20の撮像範囲と、人体検出処理の有効範囲とに基づいて算出することができる。
図10は、図9のカメラ設置条件における人体検出可能領域の提示画面の一例である。図10に示す設定画面ウインドウ300は、画像処理装置200が実行する検出処理に関するパラメータの設定を行うためのユーザインタフェース(UI)画面である。設定画面ウインドウ300は、カメラ20が撮像した画像(または映像)が表示される映像表示部310と、画像処理装置200が行う検出処理の設定を行うためのUIである設定部320とを有する。映像表示部310には、図9の人体検出可能範囲63aに対応する人体検出可能領域330aが人体Pの撮像画像上に重畳表示される。また、設定画面ウインドウ300は、情報表示部340aを有していてもよい。情報表示部340aには、カメラ20の水平角度情報を表示し、ユーザに現在のカメラ20の設置状態を提示してもよい。図10では、水平角度情報として「カメラ角度:−30°」を表示している。
図9に示すカメラ設置条件の場合、カメラ20の撮像方向は水平面に対して−30°であり、撮像範囲の角度61aに対する人体検出可能範囲63aの角度64aの割合は50%である。つまり、人体検出可能範囲63aは、撮像範囲の上部50%の範囲に相当する。したがって、撮像画像上における上部50%の領域が、人体検出可能範囲63aに対応する人体検出可能領域となる。この場合、図10に示すように、映像表示部310において、上下方向中央部から映像表示部310の最上部までの領域が人体検出可能領域330aとして表示される。
また、設定部320では、チェックボックス321a〜321dによって、各種検出機能の有効化と無効化との切り替えが可能となっている。この図10では、チェックボックス321aにチェックが入れられており、人体検出機能が有効化されている例を示している。さらに、設定部320には、成否ランプ322a〜322dによって、有効化された各機能の検出結果の成否が表示可能となっている。この図10では、人体検出が成功しており、顔検出、顔認識およびナンバープレート検出は行われていないため非検出である例を示している。各機能の検出結果の成否は、映像表示部310からも確認することができる。人体検出が成功している場合、その結果は、図10に示すように、映像表示部310に検出された人体Pを囲む人体枠311として表示される。なお、検出結果の表示方法は、上記の方法に限定されない。
このように、画像処理装置200のパラメータ設定部209は、人体Pが撮像されるカメラ20のチルト角度と、カメラ20の垂直画角と、人体検出用パラメータである有効範囲を示す情報とに基づいて、人体検出可能領域330aを算出する。そして、表示制御部211は、パラメータ設定部209によって算出された人体検出可能領域330aを画像取得部201によって取得された撮像画像上に重畳して、映像表示部310に表示する。本実施形態では、人体Pは鉛直方向に直立するという前提があり、人体Pの検出率や検出精度は、カメラ20のチルト角度や垂直画角に応じて変化する。例えば、人体の顔を検出(認識)する場合、顔正面から撮像した画像が最も精度が良く、顔の上下方向の角度が正面から離れるにつれて検出精度は落ちる傾向にある。そのため、上記の前提のもとでは、人体検出可能領域330aは、カメラ20のチルト角度および垂直画角により決定される。
次に、図9とは異なるカメラ設置条件における人体検出可能領域の表示例について、図11および図12を参照しながら説明する。
図11は、図9と同様に、天井60に設置されたカメラ20と人体Pとを真横から見た側面図である。カメラ20は、天井60に俯角45°で設置されており、天井60から人体Pを見下ろす方向に撮像している。つまり、人体Pからは仰角45°の位置にカメラ20が設置されている。また、図6(a)に示すように、カメラ20の垂直方向における撮像範囲を示す垂直画角は90°、人体検出処理の有効範囲は±30°である。そのため、カメラ20の撮像範囲の垂直方向の角度61bは90°、人体検出処理の有効範囲の垂直方向の角度62bは60°である。また、人体検出可能領域に対応する人体検出可能範囲は、撮像範囲と有効範囲とが重複する範囲63bとなる。この人体検出可能範囲63bの垂直方向の角度64bは30°である。
図12は、図11のカメラ設置条件における人体検出可能領域の提示画面の一例である。この図12において、図10と同一部分には同一符号を付し、説明は省略する。
映像表示部310には、図11の人体検出可能範囲63bに対応する人体検出可能領域330bが人体Pの撮像画像上に重畳表示される。また、情報表示部340bには、カメラ20の水平角度情報として、「カメラ角度:−45°」が表示されている。
図11に示すカメラ設置条件の場合、カメラ20の撮像方向は水平面に対して−45°であり、撮像範囲の角度61bに対する人体検出可能範囲63bの角度64bの割合は約30%である。つまり、人体検出可能範囲63bは、撮像範囲の上部約30%の範囲に相当する。したがって、撮像画像上における上部約30%の領域が、人体検出可能範囲63bに対応する人体検出可能領域となる。この場合、図12に示すように、映像表示部310において、上部約30%の領域が人体検出可能領域330bとして表示される。
なお、本実施形態においては、取得部210が、カメラ20の水平角度(チルト角度)、カメラ20の垂直画角、および人体検出処理の有効範囲に関する情報を取得するとした。しかしながら、パラメータ設定部209が上記の情報と同等の情報を得ることができればよい。例えば、画像処理装置200は、カメラ20に接続される情報処理装置30から人体検出処理の有効範囲を読み込んでもよいし、有効範囲の規定値が記載されたファイルを読み込んでもよい。また、画像処理装置20は、ネットワークを介して有効範囲に関する情報を受信してもよい。
また、本実施形態においては、カメラ20のチルト角度が操作された場合に、映像表示部310における人体検出可能領域の表示を動的に変更するようにしてもよい。さらに、本実施形態においては、人体検出処理の有効範囲として、検出精度が異なる複数の角度範囲設定がなされている場合、複数の検出精度にそれぞれ対応する複数の人体検出可能領域を分割表示や重畳表示するようにしてもよい。また、本実施形態においては、解析処理として人体検出処理について説明したが、検出対象を映す角度により検出精度が変化する検出機能であれば適用可能である。例えば、顔検出処理、顔認識処理、ナンバープレート検出処理、更にはこれらの処理を複合した混雑検出等の高次解析であってもよい。さらに、本実施形態では、人体検出処理に関する人体検出可能領域のみを撮像画像に重畳表示する場合について説明したが、他の検出機能の検出可能領域と合わせて表示することも可能である。
このように、本実施形態では、画像処理装置200は、少なくとも第一の撮像装置の撮像方向に関する情報を取得し、取得された情報に基づいて、第一の撮像装置が撮像した画像内における、当該画像内の物体に対する解析処理が可能な第一領域を導出する。そして、画像処理装置200は、導出された第一領域を表示装置に表示させる。ここで、上記解析処理は人体検出処理であってよく、上記第一領域は人体検出可能領域とすることができる。このように、画像処理装置200は、画像内における人体検出処理が可能な人体検出可能領域を可視化し、ユーザに提示することができる。
また、画像処理装置200は、カメラ20によって撮像された画像上に第一領域を重畳表示させる。そのため、ユーザは、撮像画像上においてどの領域が人体検出可能領域であるかを容易に把握することができる。したがって、ユーザは、解析処理(人体検出処理)を適切に行うための設定を容易に行うことができる。なお、第一領域の表示方法は、撮像画像上に重畳表示する方法に限定されず、ユーザが画像上のどの領域が第一領域であるかを確認できる方法であればよい。
さらに、画像処理装置200は、解析処理の対象である画像を撮像した撮像装置の撮像範囲に関する情報を取得する。また、画像処理装置200は、解析処理の精度が保証された有効範囲に関する情報を取得する。そして、画像処理装置200は、撮像範囲に関する情報と、有効範囲に関する情報とに基づいて、第一領域を導出する。本実施形態では、撮像範囲に関する情報は、撮像方向と撮像画角とを示す情報である。ここで、撮像方向は、カメラ20の水平角度を用いることができ、撮像画角は垂直画角を用いることができる。より具体的には、カメラ20の水平角度はカメラ20のチルト角度を用いることができる。また、有効範囲は、解析処理の精度が保証された精度保証範囲であり、有効範囲に関する情報は、カメラ20の位置を基準とした角度範囲情報を用いることができる。このように、画像処理装置200は、カメラ20の水平角度(チルト角度)および垂直画角と、人体検出処理の有効範囲とに基づいて人体検出可能領域を算出するので、人体検出可能領域をユーザに適切に提示することができる。
また、画像処理装置200は、解析処理の保証精度が異なる複数の有効範囲に関する情報を取得し、複数の有効範囲にそれぞれ対応する複数の第一領域を導出する。具体的には、画像処理装置200は、有効範囲に関する情報として、人体検出精度を所定率以上保証する角度範囲である推奨範囲と、上記所定率には及ばないものの、ある程度人体検出が可能な角度範囲である検出可能範囲とを取得する。これにより、画像処理装置200は、精度毎の人体検出可能領域をユーザに提示することができる。
例えば、画像処理装置200は、解析処理の精度毎の複数の第一領域をそれぞれ分割表示させることができる。この場合、ユーザは、人体検出精度の違いに応じた人体検出可能領域の違いを容易に把握することができる。また、画像処理装置200は、解析処理の精度毎の複数の第一領域を合成表示させることもできる。この場合、ユーザは、1つの表示画面において精度毎に異なる複数の人体検出可能領域を容易に把握することができる。
また、画像処理装置200は、画像内における解析処理を実施する領域をユーザが指示するためのユーザインタフェースを表示させることができる。そして、画像処理装置200は、ユーザインタフェースを介してユーザが指示した領域に対して解析処理を行うことができる。ここで、上記の解析処理を実施する領域は、人体検出処理を実施する人体検出処理領域とすることができる。このように、ユーザは、画像処理装置200によって提示された人体検出可能領域を確認したうえで人体検出処理領域を指示することができるので、人体検出処理を適切に行うことができない領域が人体検出処理領域として設定されることが抑制される。つまり、画像処理装置200は、人体検出処理を適切に行うことができる領域に対して人体検出処理を実施することができる。
以上のように、本実施形態では、ユーザが撮像条件や解析処理のパラメータを設定した場合に、その設定が解析処理を適切に行うことができる設定であるかどうかを容易に確認することができる。そのため、ユーザは、解析処理を適切に行うために、実際に画像処理装置200によって解析処理した結果をもとに画角調整を繰り返し行うといった試行錯誤を重ねる必要がない。また、ユーザが物体の映る角度を実測し、撮像画像上のどこまでが解析処理が可能な第一領域に該当するかを推測し、推測した範囲内で解析処理を実施する領域を設定するといった熟練も必要ない。このように、画像処理装置200は、画像に対する解析処理を適切に行うための設定をユーザが容易に行うことを補助することができる。したがって、ユーザは、解析処理を適切に行うための設定を効率良く行うことができ、省力化が図れる。
(第二の実施形態)
次に、本発明の第二の実施形態について説明する。
上述した第一の実施形態では、1つのカメラの人体検出可能領域のみを撮像画像上に重畳表示する場合について説明した。第二の実施形態では、複数のカメラの人体検出可能領域を撮像画像上に重畳表示する場合について説明する。つまり、この第二の実施形態では、複数のカメラの人体検出可能領域を同一画面上に表示する。
図13は、複数のカメラの設置例を示す平面図である。この図13は、監視空間(例えば、店舗)70内に、2台のカメラ20Aおよび20Bが設置されている状態を示している。カメラ20Aおよび20Bのネットワーク接続構成および内部構成は、上述した第一の実施形態におけるカメラ20の構成(図1および図2)と同様である。
カメラ20Aは、店舗70内に設置された扉71を左手に、撮像方向を図13の上方向に向けて、店舗70の天井から斜め下方に所定角度(浅い角度)で所定範囲を撮像するように設置されている。また、カメラ20Bは、扉71を正面に、撮像方向を図13の左方向に向けて、店舗70の天井から斜め下方に所定角度(浅い角度)で所定範囲を撮像するように設置されている。
画像処理装置200は、上述した図3に示す構成を有する。ただし、取得部210が、カメラ20Aおよびカメラ20Bに関する情報を取得する点で第一の実施形態とは異なる。また、パラメータ設定部209は、カメラ20Aおよびカメラ20Bのそれぞれについて人体検出可能領域を算出し、表示制御部211は、パラメータ設定部209が算出した各人体検出可能領域を撮像画像上に重畳表示するように構成されている。
図14(a)は、カメラ20Aによる撮像画像上に、カメラ20Aの人体検出可能領域331と、カメラ20Bの人体検出可能領域332とを重畳表示した映像表示部310の例である。図14(a)の人体検出可能領域332は、カメラ20Aの撮像画像内における、カメラ20Bが撮像した画像に対する解析処理が可能な領域である。また、図14(b)は、カメラ20Bによる撮像画像上に、人体検出可能領域331と人体検出可能領域332とを重畳表示した映像表示部310の例である。図14(b)の人体検出可能領域331は、カメラ20Bの撮像画像内における、カメラ20Aが撮像した画像に対する解析処理が可能な領域である。
人体検出可能領域の算出方法は、第一の実施形態と同様である。パラメータ設定部209は、カメラ20Aの水平角度および垂直画角と、人体検出処理の有効範囲とに基づいて、カメラ20Aが撮像した画像内における、カメラ20Aが撮像した画像に対する人体検出処理が可能な領域を算出する。また、パラメータ設定部209は、カメラ20Bの水平角度および垂直画角と、人体検出処理の有効範囲とに基づいて、カメラ20Bが撮像した画像内における、カメラ20Bが撮像した画像に対する人体検出処理が可能な領域を算出する。
そして、表示制御部211は、カメラ20Aの撮像画像上に、カメラ20A、20Bの人体検出可能領域を重畳表示する場合には、カメラ20Bの人体検出可能領域をカメラ20Aの撮像画像上の領域に変換する変換処理を行う。同様に、表示制御部211は、カメラ20Bの撮像画像上に、カメラ20A、20Bの人体検出可能領域を重畳表示する場合には、カメラ20Aの人体検出可能領域をカメラ20Bの撮像画像上の領域に変換する変換処理を行う。以下、人体検出可能領域の変換処理について説明する。
領域を相互変換するためには、各カメラの撮像画像上における任意の点と、図13における例えば床面上の中央の点との対応関係を求める必要がある。この対応関係は、透視投影変換の関係があるので、撮像画像上の任意の点が、図13に示す平面図上のどの点に対応するかが求められれば、床面上の点をカメラ間で相互に変換することができる。
具体的には、店舗70内の実際の床面上に目印となる4点A,B,C,Dをマーキングしておき、カメラ20Aにより床面上を撮像する。そして、画像処理装置200は、カメラ20Aの撮像画像を情報処理装置30の表示部に表示する。ユーザが、表示部に表示された撮像画像上の上記4点を表示画面上で選択すると、画像処理装置200は、ユーザが選択した上記4点の表示画面上の位置情報をもとに撮像画像上の上記4点の座標を求める。次に、画像処理装置200は、上記4点が図13に示す平面図上のどこに位置するかを求める。まず、ユーザは、マーキングした各点間の実際の距離を実測し、ユーザインタフェースを介して実測した距離を画像処理装置200に入力する。すると、画像処理装置200は、平面図の縮尺をもとに、ユーザから入力された距離を図上距離に換算する。これにより、カメラ20Aの撮像画像上の4点A〜Dに対応する平面図上の4点A´〜D´の位置が求まる。
このように、カメラ20Aの撮像画像上の4点A〜Dと平面図上の4点A´〜D´との対応が求まると、カメラ20Aの撮像画像上の点と平面図上の点との間で、投影変換およびその逆変換が可能となる。以上の処理は、カメラ20Aが設置された際に画像処理装置200が実施し、求めた変換パラメータを変換情報としてカメラ20A内に記憶しておく。カメラ20Bについても同様に、画像処理装置200は、カメラ20Bの撮像画面上の任意の点と平面図上の点との対応関係を求め、変換パラメータを変換情報としてカメラ20B内に記憶しておく。上記の処理は、カメラ20A、20Bの設置時に一度だけ行えばよく、カメラ20A、20Bの画角や向きが変わらない限り再測定の必要はない。表示制御部211は、上記変換情報を用いることにより、カメラ20Aとカメラ20Bとの間での領域変換を行うことができる。
なお、変換情報の作成方法は、カメラ20A、20Bの撮像画像上の点と平面図上の点との対応関係を求める方法に限定されるものではない。例えば、カメラ20A、20Bのレンズ特性およびズーム位置設定から求まる画角情報、ならびにカメラ20A、20Bを設置するときの設置位置、高さおよび設置角度の情報から、変換情報を作成してもよい。
また、変換情報の格納場所は、カメラ20A、20B内に限定されるものではない。例えば、ネットワークに接続された他の情報処理装置内に格納しておき、カメラ20A、20Bが情報処理装置から変換情報を取得するように構成してもよい。あるいは、ネットワークカメラシステム10を構成する全てのカメラの変換情報を予め所定の処理装置に格納しておくようにしてもよい。
さらに、カメラ20Aの取得部210がカメラ20Bの各情報を取得し、カメラ20Aの表示制御部211が人体検出可能領域を表示させたが、この表示制御処理はどの装置で行ってもよい。例えば、カメラ20Aおよびカメラ20Bを含む複数のカメラ情報を別の情報処理装置がネットワークを介して受信し、情報処理装置が人体検出可能領域を算出して表示制御処理を行ってもよい。
以上のように、本実施形態では、画像処理装置200は、複数のカメラの人体検出可能領域を同一画面上に表示させる。具体的には、画像処理装置200は、第一の撮像装置が撮像した画像内における、第一の撮像装置とは異なる第二の撮像装置が撮像した第二画像内の物体に対する解析処理が可能な第二領域を導出する。そして、画像処理装置200は、第一の撮像装置が撮像した画像内における、解析処理が可能な第一領域と、第二領域とを合成表示させる。したがって、ユーザは、複数のカメラの人体検出可能領域を容易に把握することができ、人体検出領域の設定時における領域設定抜けや設定領域の重複を抑制することができる。
また、画像処理装置200は、第二領域の導出に際し、第二の撮像装置の撮像範囲に関する情報を取得する。このとき、画像処理装置200は、第二の撮像装置の撮像範囲に関する情報と、解析処理の有効範囲に関する情報とに基づいて、第二の撮像装置が撮像した第二画像内における、第二画像内の物体に対する解析処理が可能な領域を導出する。そして、画像処理装置200は、導出した領域を第一の撮像装置が撮像した画像内の領域に変換することで第二領域を導出する。このように、カメラ20Bの撮像画像内における人体検出可能領域をカメラ20Aの撮像画像内の領域に変換するので、カメラ20Aの人体検出可能領域とカメラ20Bの人体検出可能領域とを、1つ画面に適切に表示することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
10…ネットワークカメラシステム、20…カメラ、30…情報処理装置、40…LAN、200…画像処理装置、201…画像取得部、202…物体検出部、203…物体追尾部、204…人体検出部、205…物体対応付部、206…軌跡管理部、207…軌跡情報判定部、208…外部出力部、209…パラメータ設定部、210…取得部、211…表示制御部

Claims (11)

  1. 少なくとも第一の撮像装置の撮像方向に関する情報を取得する第一の取得手段と、
    前記第一の取得手段により取得された情報に基づいて、前記第一の撮像装置が撮像した画像内における、前記画像内の物体に対する解析処理が可能な第一領域を導出する第一の導出手段と、
    前記第一の撮像装置が撮像した前記画像内における、前記第一の撮像装置とは異なる第二の撮像装置が撮像した第二画像内の物体に対する解析処理が可能な第二領域を導出する第二の導出手段と、
    前記第一の導出手段により導出された前記第一領域と、記第二の導出手段により導出された前記第二領域とを表示装置に合成表示させる表示制御手段と、を備えることを特徴とする画像処理装置。
  2. 前記表示制御手段は、前記画像上に前記第一領域を重畳表示させることを特徴とする請求項1に記載の画像処理装置。
  3. 前記解析処理の精度が保証された有効範囲に関する情報を取得する第二の取得手段をさらに備え、
    前記第一の取得手段は、前記第一の撮像装置の撮像範囲に関する情報を取得し、
    前記第一の導出手段は、前記第一の取得手段により取得された前記撮像範囲に関する情報と、前記第二の取得手段により取得された前記有効範囲に関する情報とに基づいて、前記第一領域を導出することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記撮像範囲に関する情報は、前記撮像方向と撮像画角とを示す情報であることを特徴とする請求項3に記載の画像処理装置。
  5. 前記第二の取得手段は、前記解析処理の保証精度が異なる複数の前記有効範囲に関する情報を取得し、
    前記第一の導出手段は、複数の前記有効範囲にそれぞれ対応する複数の前記第一領域を導出することを特徴とする請求項3または4に記載の画像処理装置。
  6. 前記表示制御手段は、
    前記第一の導出手段により導出された複数の前記第一領域をそれぞれ分割表示させることを特徴とする請求項5に記載の画像処理装置。
  7. 前記表示制御手段は、
    前記第一の導出手段により導出された複数の前記第一領域を合成表示させることを特徴とする請求項5に記載の画像処理装置。
  8. 前記解析処理の精度が保証された有効範囲に関する情報を取得する第二の取得手段と、
    前記第二の撮像装置の撮像範囲に関する情報を取得する第三の取得手段と、をさらに備え、
    前記第二の導出手段は、
    前記第三の取得手段により取得された前記撮像範囲に関する情報と、前記第二の取得手段により取得された前記有効範囲に関する情報とに基づいて、
    前記第二画像内における、前記第二画像内の物体に対する解析処理が可能な領域を導出し、導出した前記領域を前記画像内の領域に変換することで前記第二領域を導出することを特徴とする請求項1から7のいずれか1項に記載の画像処理装置。
  9. 撮像装置と、
    前記撮像装置と通信可能に接続された、請求項1からのいずれか1項に記載の画像処理装置と、
    前記画像処理装置と通信可能に接続され、前記表示制御手段によって表示制御される表示手段を備える表示装置と、を備えることを特徴とする画像処理システム。
  10. 少なくとも第一の撮像装置の撮像方向に関する情報を取得するステップと、
    取得された情報に基づいて、前記第一の撮像装置が撮像した画像内における、前記画像内の物体に対する解析処理が可能な第一領域を導出するステップと、
    前記第一の撮像装置が撮像した前記画像内における、前記第一の撮像装置とは異なる第二の撮像装置が撮像した第二画像内の物体に対する解析処理が可能な第二領域を導出するステップと、
    導出された前記第一領域と導出された前記第二領域とを表示装置に合成表示させるステップと、を含むことを特徴とする画像処理方法。
  11. コンピュータを、請求項1からのいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2015199632A 2015-10-07 2015-10-07 画像処理装置、画像処理方法および画像処理システム Active JP6587489B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015199632A JP6587489B2 (ja) 2015-10-07 2015-10-07 画像処理装置、画像処理方法および画像処理システム
US15/279,179 US20170104915A1 (en) 2015-10-07 2016-09-28 Display control apparatus, display control method, and storage medium
EP16191560.8A EP3153990A1 (en) 2015-10-07 2016-09-29 Display control apparatus, display control method, and program
KR1020160128780A KR102111935B1 (ko) 2015-10-07 2016-10-06 표시 제어장치, 표시 제어방법 및 프로그램
CN201610879108.1A CN106572298A (zh) 2015-10-07 2016-10-08 显示控制装置以及显示控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015199632A JP6587489B2 (ja) 2015-10-07 2015-10-07 画像処理装置、画像処理方法および画像処理システム

Publications (2)

Publication Number Publication Date
JP2017073670A JP2017073670A (ja) 2017-04-13
JP6587489B2 true JP6587489B2 (ja) 2019-10-09

Family

ID=57348435

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015199632A Active JP6587489B2 (ja) 2015-10-07 2015-10-07 画像処理装置、画像処理方法および画像処理システム

Country Status (5)

Country Link
US (1) US20170104915A1 (ja)
EP (1) EP3153990A1 (ja)
JP (1) JP6587489B2 (ja)
KR (1) KR102111935B1 (ja)
CN (1) CN106572298A (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106033601B (zh) * 2015-03-09 2019-01-18 株式会社理光 检测异常情形的方法和装置
US10360572B2 (en) * 2016-03-07 2019-07-23 Ricoh Company, Ltd. Image processing system, method and computer program product for evaluating level of interest based on direction of human action
WO2018025458A1 (ja) * 2016-08-01 2018-02-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
IL252032A0 (en) * 2017-04-30 2017-07-31 Pointgrab Ltd A method and system for determining presence from images
JP7123545B2 (ja) * 2017-10-30 2022-08-23 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP7034690B2 (ja) 2017-12-05 2022-03-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11501519B2 (en) * 2017-12-13 2022-11-15 Ubiqisense Aps Vision system for object detection, recognition, classification and tracking and the method thereof
JP6819636B2 (ja) * 2018-03-16 2021-01-27 京セラドキュメントソリューションズ株式会社 表示装置及び表示プログラム
JP7216487B2 (ja) * 2018-06-21 2023-02-01 キヤノン株式会社 画像処理装置およびその制御方法
JP7204449B2 (ja) * 2018-11-29 2023-01-16 キヤノン株式会社 制御装置、撮像装置、制御方法およびプログラム
JP2020141288A (ja) * 2019-02-28 2020-09-03 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP2020148501A (ja) * 2019-03-11 2020-09-17 日本電産モビリティ株式会社 車内監視装置、車内監視システム、及び車内監視プログラム
JP7368822B2 (ja) * 2019-05-31 2023-10-25 i-PRO株式会社 カメラパラメータ設定システムおよびカメラパラメータ設定方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1499129B1 (en) * 2002-04-25 2011-12-28 Panasonic Corporation Object detection device, object detection server, and object detection method
US7376250B2 (en) * 2004-01-05 2008-05-20 Honda Motor Co., Ltd. Apparatus, method and program for moving object detection
JP2006012013A (ja) * 2004-06-29 2006-01-12 Seiwa Electric Mfg Co Ltd 移動物体追跡装置
JP4516516B2 (ja) * 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム
JP2007249722A (ja) * 2006-03-17 2007-09-27 Hitachi Ltd 物体検知装置
JP2008301238A (ja) * 2007-05-31 2008-12-11 Panasonic Corp 映像監視システムの監視領域設定装置及び監視領域設定方法
JP5436104B2 (ja) * 2009-09-04 2014-03-05 キヤノン株式会社 画像検索装置及び画像検索方法
JP5727207B2 (ja) * 2010-12-10 2015-06-03 セコム株式会社 画像監視装置
JP5594672B2 (ja) * 2011-04-14 2014-09-24 株式会社 日立産業制御ソリューションズ 物体認識装置および物体認識方法
JP5885398B2 (ja) * 2011-05-20 2016-03-15 キヤノン株式会社 画像処理装置、画像処理方法
JP5935529B2 (ja) * 2012-06-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP6265132B2 (ja) * 2012-12-06 2018-01-24 日本電気株式会社 画像認識処理適性表示システム、方法およびプログラム
JP6205189B2 (ja) * 2013-06-28 2017-09-27 オリンパス株式会社 情報提示システム及び情報提示システムの制御方法
JP2015032883A (ja) * 2013-07-31 2015-02-16 パナソニック株式会社 撮像装置及び画像表示方法

Also Published As

Publication number Publication date
CN106572298A (zh) 2017-04-19
KR20170041636A (ko) 2017-04-17
US20170104915A1 (en) 2017-04-13
KR102111935B1 (ko) 2020-05-18
JP2017073670A (ja) 2017-04-13
EP3153990A1 (en) 2017-04-12

Similar Documents

Publication Publication Date Title
JP6587489B2 (ja) 画像処理装置、画像処理方法および画像処理システム
JP6700661B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
US10445887B2 (en) Tracking processing device and tracking processing system provided with same, and tracking processing method
US9805265B2 (en) Surveillance camera control device and video surveillance system
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
US10091474B2 (en) Image processing device, image processing method, program and computer-readable storage medium
JP6732522B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6562437B1 (ja) 監視装置、及び、監視方法
US9008442B2 (en) Information processing apparatus, information processing method, and computer program
US9905016B2 (en) Robot identification system
JP2019041261A (ja) 画像処理システムおよび画像処理システムの設定方法
JP2015176253A (ja) ジェスチャ認識装置およびジェスチャ認識装置の制御方法
JP6812203B2 (ja) 情報処理システム、情報処理方法、携帯投影端末
JP6624800B2 (ja) 画像処理装置、画像処理方法、及び画像処理システム
JP5930808B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
JP6406044B2 (ja) カメラ校正ユニット、カメラ校正方法、およびカメラ校正プログラム
JP2020088840A (ja) 監視装置、監視システム、監視方法、監視プログラム
JP2006033188A (ja) 監視装置および監視方法
JP2014225301A (ja) 画像処理装置、方法、及びプログラム
US20190080179A1 (en) Monitoring system and terminal device
JP2006259847A (ja) 自動追尾装置及び自動追尾方法
JP5951966B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP4027294B2 (ja) 移動体検出装置、移動体検出方法及び移動体検出プログラム
WO2022239291A1 (ja) 物体検知装置及び方法
JP6501945B2 (ja) 情報処理装置、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190910

R151 Written notification of patent or utility model registration

Ref document number: 6587489

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D03