JP4708192B2 - Dynamic camera color correction device and video search device using the same - Google Patents
Dynamic camera color correction device and video search device using the same Download PDFInfo
- Publication number
- JP4708192B2 JP4708192B2 JP2006002625A JP2006002625A JP4708192B2 JP 4708192 B2 JP4708192 B2 JP 4708192B2 JP 2006002625 A JP2006002625 A JP 2006002625A JP 2006002625 A JP2006002625 A JP 2006002625A JP 4708192 B2 JP4708192 B2 JP 4708192B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- color correction
- person
- unit
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
本発明は、カメラによって撮像されて得られた画像を補正する動的なカメラ色補正装置と、その動的なカメラ色補正装置を用いた映像検索装置に関するものである。 The present invention relates to a dynamic camera color correction apparatus that corrects an image obtained by being picked up by a camera, and a video search apparatus using the dynamic camera color correction apparatus.
従来のカメラを用いて人物や物体を追跡、検索する装置は、人物や物体の色情報を用いた装置が多く使用されている。色情報を用いる場合、カメラの個体差、光源環境の影響を補正するために、設置したカメラで一度カラーチャート等の特定色パターンを撮像し、個々にカメラパターンを導入する手法がある(例えば、特許文献1参照)。
しかしながら、監視システムの場合、屋内、屋外、場所を問わず設置されることが常であり、特に屋外においては、日照等の動的な変化により監視オブジェクトの色の見え方が時刻、天候等によって刻々と変化する。そのため、設置カメラにいったん導入したカメラパラメータを動的に更新する必要があり、かつ、設置カメラ台数、日照環境の多様さを考慮すると、カメラパラメータ更新の自動化は必須である。 However, in the case of a monitoring system, it is always installed indoors, outdoors, and anywhere. Especially in the outdoors, the appearance of the color of the monitoring object depends on the time, weather, etc. due to dynamic changes such as sunlight. It changes every moment. For this reason, it is necessary to dynamically update the camera parameters once introduced into the installed camera, and it is indispensable to update the camera parameters in consideration of the number of installed cameras and the variety of sunshine environments.
本発明は、上記事情に鑑みてなされたものであって、カメラ設置環境、日照環境等といった撮像環境の変動に影響されることなく、画像の色を適切に補正できる色補正装置およびそれを用いた映像検索装置を提供することを目的とする。 The present invention has been made in view of the above circumstances, and uses a color correction apparatus that can appropriately correct the color of an image without being affected by changes in an imaging environment such as a camera installation environment or a sunshine environment. An object of the present invention is to provide a video search apparatus.
本発明の動的なカメラ色補正装置は、監視領域を撮像する撮像手段から入力される画像の色補正を行うカメラ色補正装置であって、特定のカラーチャートから色補正パラメータを決定する色補完手段と、前記色補正パラメータに基づいて、前記撮像手段が撮像した画像の色補正を行い色補正画像を出力する色補正手段と、前記色補正画像から背景画像を抽出する背景抽出手段と、前記背景画像が、背景か否かを確認する背景確認手段と、前記確認された背景画像から色情報を抽出する色抽出手段と、前記抽出された色情報が変化した場合に、前記色補正パラメータを変更させる色比較手段とを備える構成を有している。 A dynamic camera color correction apparatus according to the present invention is a camera color correction apparatus that performs color correction of an image input from an imaging unit that images a monitoring area, and that performs color interpolation that determines a color correction parameter from a specific color chart. Means, color correction means for performing color correction of an image captured by the imaging means based on the color correction parameter, and outputting a color correction image, background extraction means for extracting a background image from the color correction image, and A background confirmation unit for confirming whether or not the background image is a background, a color extraction unit for extracting color information from the confirmed background image, and the color correction parameter when the extracted color information changes. And a color comparison unit to be changed.
この構成により、監視領域内の背景画像を抽出し、背景画像の色の変化を確認し、色補正パラメータを逐次更新することで、撮像手段の撮像環境の変化によらず自動的に撮像画像を色補正することができる。 With this configuration, the background image in the monitoring area is extracted, the change in the color of the background image is confirmed, and the color correction parameter is sequentially updated, so that the captured image is automatically acquired regardless of the change in the imaging environment of the imaging means. Color correction can be performed.
また、本発明の動的なカメラ色補正装置は、前記背景画像の色情報を背景画像の位置情報と対応させて格納する参照テーブル手段を備える構成を有している。 In addition, the dynamic camera color correction apparatus of the present invention has a configuration including reference table means for storing the color information of the background image in association with the position information of the background image.
また、本発明の動的なカメラ色補正装置において、前記色補正手段は、前記色比較手段が変更する色補正パラメータに基づいて、全色空間の色補正パラメータを更新する構成を有している。 In the dynamic camera color correction apparatus of the present invention, the color correction unit updates the color correction parameters of the entire color space based on the color correction parameters changed by the color comparison unit. .
この構成により、色補完手段で、変更された背景画素の色を用いて色補完を行い、色補正パラメータ全体を更新することにより、より精度の高い色補正をすることができる。 With this configuration, it is possible to perform color correction with higher accuracy by performing color complementation using the color of the changed background pixel and updating the entire color correction parameter by the color complementing means.
また、本発明の動的なカメラ色補正装置は、前記背景画像の画素情報を検出し、前記背景画像の画素情報と基準となる画素情報との差に応じて、前記色比較手段を機能させるか否か判別する更新タイミング判別手段を備える構成を有している。 The dynamic camera color correction apparatus of the present invention detects pixel information of the background image, and causes the color comparison unit to function according to a difference between the pixel information of the background image and reference pixel information. It has the structure provided with the update timing discrimination | determination means to discriminate | determine.
この構成により、色比較を行うタイミングを知ることができる。 With this configuration, it is possible to know the timing for color comparison.
また、本発明の動的なカメラ色補正装置は、前記更新タイミング判別手段が、前記背景画像を所定の領域に分割し、各領域の輝度値の平均を計算する構成を有している。 In the dynamic camera color correction apparatus according to the present invention, the update timing determination unit divides the background image into predetermined regions and calculates an average of luminance values of the regions.
この構成により、更新タイミング判別手段で、初期運用時に比べ日照変動が多く発生したときのみ、色補正パラメータの更新を行うことなど、色補正を行うCPUもしくはDSPの処理負荷を軽減することができる。 With this configuration, it is possible to reduce the processing load on the CPU or DSP that performs color correction, such as updating the color correction parameter only when the sunshine fluctuation occurs more frequently than in the initial operation by the update timing determination unit.
また、本発明の動的なカメラ色補正装置は、前記色補正手段が補正した画像を格納する第1と第2のバッファを備え、前記背景抽出手段が、前記第1のバッファに格納した画像から複数の背景画像群1を抽出し、前記背景確認手段が、前記第2のバッファに格納した画像から複数の背景画像群2を抽出し、前記色比較手段が、前記背景画像群1および背景画像群2の画素情報を検出し、前記背景画像群1および背景画像群2の画素情報の変化に基づいて前記色比較処理を行う構成を有している。 The dynamic camera color correction apparatus according to the present invention further includes first and second buffers for storing images corrected by the color correction unit, and the background extraction unit stores the image stored in the first buffer. A plurality of background image groups 1 are extracted from the image, the background confirmation unit extracts a plurality of background image groups 2 from the image stored in the second buffer, and the color comparison unit includes the background image group 1 and the background image. The pixel information of the image group 2 is detected, and the color comparison process is performed based on changes in the pixel information of the background image group 1 and the background image group 2.
また、本発明の動的なカメラ色補正装置は、記背景抽出手段が、前記第1のバッファに時系列的に格納された画像の画素毎にヒストグラムを生成して頻度の高い輝度を抽出し、前記背景確認手段が、前記第2のバッファに時系列的に格納された画像の画素毎にヒストグラムを生成して頻度の高い輝度を抽出する構成を有している。 In the dynamic camera color correction apparatus according to the present invention, the background extracting unit generates a histogram for each pixel of the image stored in time series in the first buffer to extract a high-frequency luminance. The background confirmation unit has a configuration in which a histogram is generated for each pixel of an image stored in the second buffer in time series to extract a high-frequency luminance.
この構成により、背景抽出手段と背景確認手段で、複数の背景画素を抽出することにより、葉っぱや旗等の揺れが発生した場合等でも、精度よく色補正することができる。 With this configuration, a plurality of background pixels are extracted by the background extraction unit and the background confirmation unit, so that color correction can be performed with high accuracy even when a leaf or flag shakes.
また、本発明の動的なカメラ色補正装置は、前記背景確認手段で確認した背景画像中の物体が移動したかどうかを確認する背景変化確認手段を備える構成をしている。 The dynamic camera color correction apparatus of the present invention is configured to include background change confirmation means for confirming whether or not an object in the background image confirmed by the background confirmation means has moved.
また、本発明の動的なカメラ色補正装置において、前記背景変化確認手段が、1つ前のフレームの背景画像と現在の背景画像との差分を求める構成を有している。 In the dynamic camera color correction apparatus of the present invention, the background change confirmation unit has a configuration for obtaining a difference between the background image of the previous frame and the current background image.
この構成により、背景変化確認手段で、1つ前のフレームの背景画像(群)と現在の背景画像(群)を比較することにより、背景画像に含まれている駐車車両等が移動した場合等であっても、精度よく色補正することができる。 With this configuration, the background change confirmation means compares the background image (group) of the previous frame with the current background image (group), so that the parked vehicle included in the background image moves, etc. Even so, color correction can be performed with high accuracy.
また、本発明の映像検索装置は、上記のいづれか一項記載の動的なカメラ色補正装置と、前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、前記代表色算出手段で抽出された色情報とテクスチャ情報とを蓄積するデータベースと、前記データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出する人物検索手段と、前記人物検索手段で算出されたスコアを表示する検索結果表示手段とを備える構成を有している。 According to another aspect of the present invention, there is provided a dynamic camera color correction apparatus according to any one of the above and a moving area extraction unit that extracts a moving area in an image from a captured image corrected by the color correction unit. Determining whether or not a person is included in the region extracted by the moving region extraction unit, and extracting a person region from the region; and a region for dividing the person region extracted by the person determination unit into blocks A division unit, a representative color calculation unit that extracts color information and texture information from each of the regions divided by the region division unit, and color information and texture information extracted by the representative color calculation unit are stored. A person who calculates a score by comparing the database, the color information and texture information stored in the database, and the color information and texture information of the person the user wants to search And search means has a configuration and a search result display means for displaying the score calculated by the person searching device.
この構成により、動的なカメラ色補正装置で、動的に色補正を行うことにより、カメラの個体差、日照の変動等の影響を受けることなく、精度の良い人物検索をすることができる。 With this configuration, by performing dynamic color correction with a dynamic camera color correction apparatus, it is possible to perform a highly accurate person search without being affected by individual differences in cameras, fluctuations in sunlight, and the like.
また、本発明の映像検索装置は、上記のいづれか一項記載の動的なカメラ色補正装置と、前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、前記代表色算出手段で抽出された色情報とテクスチャ情報とを蓄積するデータベースと、前記データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出し、特定のスコアの撮像画像を再生するよう再生命令を送信する人物検索手段と、前記色補正手段で補正した撮像画像を所定の圧縮方式で圧縮する圧縮手段と、前記圧縮手段で圧縮された撮像画像を格納するストレージと、前記人物検索手段が送信した再生命令に基づき、前記ストレージに格納された前記圧縮手段で圧縮された撮像画像を読み出し、所定の伸張方式で伸張する展開手段と、前記展開手段で展開された撮像画像を表示する表示手段とを備える構成を有している。 According to another aspect of the present invention, there is provided a dynamic camera color correction apparatus according to any one of the above and a moving area extraction unit that extracts a moving area in an image from a captured image corrected by the color correction unit. Determining whether or not a person is included in the region extracted by the moving region extraction unit, and extracting a person region from the region; and a region for dividing the person region extracted by the person determination unit into blocks A division unit, a representative color calculation unit that extracts color information and texture information from each of the regions divided by the region division unit, and color information and texture information extracted by the representative color calculation unit are stored. Compare the database, the color information and texture information stored in the database with the color information and texture information of the person that the user wants to search, calculate the score, and specify Stores the person search means for transmitting a reproduction command to reproduce the captured image of the score, the compression means for compressing the captured image corrected by the color correction means by a predetermined compression method, and the captured image compressed by the compression means And a storage unit that reads out a captured image compressed by the compression unit stored in the storage based on a reproduction command transmitted from the person search unit and expands the image by a predetermined expansion method, and expands the expanded image by the expansion unit And a display means for displaying the captured image.
また、本発明の映像検索装置において、前記圧縮手段は、前記色補正手段で補正した撮像画像から任意のフレームを間欠し、所定の圧縮方式で圧縮する構成を有している。 In the video search device of the present invention, the compression unit has a configuration in which an arbitrary frame is intermittently compressed from the captured image corrected by the color correction unit and compressed by a predetermined compression method.
この構成により、動的なカメラ色補正装置で動的に色補正を行い、色補正された映像をストレージに蓄積し、表示手段で表示することで、カメラの個体差、日照の変動等の影響を受けることなく、所望の人物を映像再生することができる。 With this configuration, dynamic color correction is performed dynamically using a dynamic camera color correction device, and the color-corrected video is stored in the storage and displayed on the display means, thereby affecting the effects of individual camera differences, fluctuations in sunlight, etc. The desired person can be reproduced without receiving the video.
さらに、本発明の映像検索装置は、複数のカメラに接続される映像検索装置であって、上記のいづれか一項記載の動的なカメラ色補正装置と、前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、特定の人物の色情報とテクスチャ情報とが格納された検索人物データベースと、前記検索人物データベースに格納された色情報およびテクスチャ情報と、前記代表色算出手段で算出された色情報およびテクスチャ情報とを比較し、同一人物のものである場合、前記代表色算出手段が検出した人物が撮像されている前記色補正手段で補正した撮像画像を表示するようカメラ切替命令を送信する人物マッチング手段と、前記人物マッチング手段が送信したカメラ切替命令に基づき、前記色補正手段で補正した撮像画像を撮像するカメラに切り替える映像切替手段と、前記映像切替手段で切り替えられた前記色補正手段で補正した撮像画像をモニタ表示する表示手段とを備える構成を有している。 Furthermore, a video search apparatus according to the present invention is a video search apparatus connected to a plurality of cameras. The dynamic camera color correction apparatus according to any one of the above and a captured image corrected by the color correction unit. A moving area extracting means for extracting a moving area in the image, a person determining means for determining whether a person is included in the area extracted by the moving area extracting means, and extracting a person area from the area; Area dividing means for dividing the person area extracted by the person discrimination means, representative color calculating means for extracting color information and texture information from each area divided by the area dividing means, and a specific person's Search person database storing color information and texture information, color information and texture information stored in the search person database, and color information calculated by the representative color calculation means And the person who transmits the camera switching command to display the captured image corrected by the color correction unit in which the person detected by the representative color calculation unit is imaged A matching unit; a video switching unit that switches to a camera that captures the captured image corrected by the color correction unit based on a camera switching command transmitted by the person matching unit; and the color correction unit that is switched by the video switching unit. And a display unit that displays the corrected captured image on a monitor.
この構成により、動的なカメラ色補正装置で、動的に色補正を行い、人物マッチング手段で、あらかじめ検索人物DBに格納された人物かどうか比較し、同一人物の場合、映像切替手段で、カメラ切替をすることにより、カメラの個体差、日照の変動等の影響を受けることなく、所望の人物がカメラ間を移動してもモニタリングすることができる。 With this configuration, the dynamic camera color correction device dynamically performs color correction, and the person matching unit compares whether or not the person is stored in advance in the search person DB. By switching the cameras, monitoring can be performed even if a desired person moves between cameras without being affected by individual differences of cameras, fluctuations in sunlight, and the like.
本発明は、監視領域内の背景画像を自動で抽出し、背景画像の色の変化を確認し、色補正パラメータを逐次更新することで、撮像手段の撮像環境の変化によらず自動的に撮像画像を色補正することができるという効果を有する動的なカメラ色補正装置およびそれを用いた映像検索装置を提供することができるものである。 The present invention automatically extracts a background image in a monitoring area, confirms a change in the color of the background image, and updates a color correction parameter sequentially, thereby automatically capturing an image regardless of a change in the imaging environment of the imaging means. It is possible to provide a dynamic camera color correction device having an effect that the image can be color-corrected and a video search device using the same.
以下、本発明の実施の形態の動的なカメラ色補正装置について、図面を用いて説明する。 Hereinafter, a dynamic camera color correction apparatus according to an embodiment of the present invention will be described with reference to the drawings.
(第1の実施の形態)
図1は、本発明の第1の実施の形態の動的なカメラ色補正装置の構成を示す。動的なカメラ色補正装置100は、カラー画像を出力するカメラ110に接続されるものである。動的なカメラ色補正装置100は、特定のカラーチャートから色補正パラメータを決定する色補完部126、色補正パラメータに基づいて、カメラ110が撮像した画像の色補正を行う色補正部120、色補正部120経由で入力される映像(色補正画像)から背景情報を抽出する背景抽出部121、色補正部120経由で入力される映像の画素が背景画素かどうか確認する背景確認部122、背景抽出部121および背景確認部122から出力される映像から画素の位置情報と色情報とを計算する色抽出部123、背景画素の位置情報と色情報とをテーブル化した参照テーブル124、参照テーブル124に格納された位置情報および色情報と、背景確認部122および色抽出部123経由で抽出された位置情報と色情報とを比較し、異なっていた場合に色補正部120に色補正値変更命令を出す色比較部125から構成される。なお、色補正パラメータは色補正部に内蔵されている。
(First embodiment)
FIG. 1 shows a configuration of a dynamic camera color correction apparatus according to a first embodiment of the present invention. The dynamic camera color correction apparatus 100 is connected to a camera 110 that outputs a color image. The dynamic camera color correction apparatus 100 includes a color complement unit 126 that determines a color correction parameter from a specific color chart, a color correction unit 120 that performs color correction of an image captured by the camera 110 based on the color correction parameter, a color A background extraction unit 121 that extracts background information from a video (color correction image) input via the correction unit 120, a background confirmation unit 122 that checks whether a pixel of a video input via the color correction unit 120 is a background pixel, and a background A color extraction unit 123 that calculates pixel position information and color information from images output from the extraction unit 121 and the background confirmation unit 122, a reference table 124 that tabulates background pixel position information and color information, and a reference table 124 Is compared with the position information and color information extracted via the background confirmation unit 122 and the color extraction unit 123, and Composed of color comparison unit 125 issues a color correction value change instruction to the color correction unit 120 in the case had. The color correction parameter is built in the color correction unit.
なお、図1において、動的なカメラ色補正装置100に接続されるカメラ110は一例を示すものであって、カメラ110の数を限定するものではない。また、図1の太矢印は映像信号を表し、例えば、カメラ110がNTSC準拠の信号の場合、太矢印はNTSC準拠の信号である。 In FIG. 1, the cameras 110 connected to the dynamic camera color correction apparatus 100 are merely examples, and the number of cameras 110 is not limited. 1 represents a video signal. For example, when the camera 110 is an NTSC-compliant signal, the thick arrow is an NTSC-compliant signal.
以上のように構成された動的なカメラ色補正装置100について、初期運用動作と通常運用動作の2種類説明する。初期運用動作は、動的な色補正を行うために、カメラ設置時に一度だけ行う動作である。通常運用動作は、前記初期運用動作時に設定した初期値を使用し動的な色補正を行う動作で、本発明の主要部分である。 The dynamic camera color correction apparatus 100 configured as described above will be described in terms of two types, an initial operation operation and a normal operation operation. The initial operation operation is an operation that is performed only once when the camera is installed in order to perform dynamic color correction. The normal operation is an operation for performing dynamic color correction using the initial value set during the initial operation, and is a main part of the present invention.
まず、初期運用動作について、図2、図3、図4を用いて説明する。カメラで同じ物体を撮像するとする。朝方撮像すると太陽の光量が弱いため暗く写り、昼間撮像すると太陽の光量が強いため明るく写り、夕方撮像すると赤っぽく写る。そのため、朝方撮像された色空間と夕方撮像された色空間とが、昼間撮像された色空間となるよう色補正を行う必要がある。 First, the initial operation operation will be described with reference to FIG. 2, FIG. 3, and FIG. Suppose that the same object is imaged with a camera. When shooting in the morning, the sun's light is weak, so it looks dark. When shooting in the day, it's bright because the sun's light is strong. When shooting in the evening, it appears red. For this reason, it is necessary to perform color correction so that the color space captured in the morning and the color space captured in the evening become the color space captured in the daytime.
図2(a)は、カラーチャートの模式図であり、図2(b)は、理論的なUV色空間とカラーチャートの理論的なUV値の一例であり、図2(c)は、UV色空間とカラーチャートをカメラ撮像した場合のUV値の一例である。 2A is a schematic diagram of a color chart, FIG. 2B is an example of a theoretical UV color space and a theoretical UV value of the color chart, and FIG. It is an example of a UV value when a color space and a color chart are captured by a camera.
例えば、RGB色空間は、R(赤)は0〜255、G(緑)は0〜255、Bは0〜255であり、色空間は255×255×255=1677万色存在する。色空間を同一にするためには、1677万色をカメラで撮像して色補正すればよいが、1677万色を用意し、カメラで撮像することは、工数が膨大になることもあり、現実的ではない。そのため、3次元のRGB色空間を輝度情報を除いた2次元のUV空間に変換し、UV空間での数種類の代表色をもったカラーチャート200(図2(a))をカメラで撮像し、代表色以外の色は補完する手法が一般的に使用される。 For example, the RGB color space is 0 to 255 for R (red), 0 to 255 for G (green), and 0 to 255 for B, and the color space has 255 × 255 × 255 = 16.7 million colors. In order to make the color space the same, it is only necessary to image 16.77 million colors with a camera and perform color correction. However, preparing 16.77 million colors and imaging with a camera may increase the number of man-hours. Not right. Therefore, a three-dimensional RGB color space is converted into a two-dimensional UV space excluding luminance information, and a color chart 200 (FIG. 2 (a)) having several representative colors in the UV space is imaged with a camera. A method of complementing colors other than the representative color is generally used.
図2(b)は、UV色空間においてUV色空間が理論上表現可能な範囲210を示す。また、カラーチャート200の代表色の理論値211a、211b、211c、‥、211nを示す。カラーチャート200の代表色をカメラ110で撮像して得られた画像(RGBの3色から構成される)を再度UV空間に変換すると、図2(c)に示すUV値221a、221b、221c、‥、221nを取る。 FIG. 2B shows a range 210 in which the UV color space can be theoretically expressed in the UV color space. Also, theoretical values 211a, 211b, 211c,..., 211n of the representative colors of the color chart 200 are shown. When an image (comprising three RGB colors) obtained by capturing the representative colors of the color chart 200 with the camera 110 is converted again into the UV space, the UV values 221a, 221b, 221c shown in FIG. ... Take 221n.
理論値211aとUV値221a、理論値211bとUV値221b、‥、理論値211nとUV値221nが対応していることが既知のため、代表色以外の色空間220(図2(c))を補完することが可能である。なお、図2における代表色数は一例に示すものであって、代表数を限定するものではない。また、色空間はUV色空間に限るものではない。 Since it is known that the theoretical value 211a and the UV value 221a, the theoretical value 211b and the UV value 221b,..., The theoretical value 211n and the UV value 221n correspond to each other, the color space 220 other than the representative color (FIG. 2C) Can be supplemented. The number of representative colors in FIG. 2 is shown as an example, and the number of representative colors is not limited. Further, the color space is not limited to the UV color space.
図3は、本発明の第1の実施の形態における動的なカメラ色補正装置の初期運用動作を説明するためのフロー図を示す。まず、カメラ110がカラーチャート200を撮像する(S300)。色補完部126は、カメラ110の撮像画像からカラーチャート200を抽出し(S301)、カラーチャート200のもつ固有の色とカメラ110で撮像されたカラーチャート200の色を比較する(S302)。色補完部126は、比較した結果から、カラーチャート200以外の色の色補完を行い、色補正パラメータを色補正部120に送信する(S303)。 FIG. 3 is a flowchart for explaining an initial operation operation of the dynamic camera color correction apparatus according to the first embodiment of the present invention. First, the camera 110 images the color chart 200 (S300). The color complementing unit 126 extracts the color chart 200 from the captured image of the camera 110 (S301), and compares the unique color of the color chart 200 with the color of the color chart 200 captured by the camera 110 (S302). Based on the comparison result, the color complementation unit 126 performs color complementation for colors other than the color chart 200, and transmits color correction parameters to the color correction unit 120 (S303).
図4は、動的なカメラ色補正装置の色補正動作を説明するための模式図である。例えば、太陽の光量が多い昼間にカラーチャート200を撮像した場合、カメラ110の撮像カラーチャート400はとび気味に撮像される。しかし、色補正部120にて、色補正パラメータに基づき色補正402を行うことにより、カラーチャート200のもつ固有の色空間のカラーチャート402として出力される。 FIG. 4 is a schematic diagram for explaining the color correction operation of the dynamic camera color correction apparatus. For example, when the color chart 200 is imaged in the daytime when the amount of sunlight is large, the imaging color chart 400 of the camera 110 is captured in a brilliant manner. However, the color correction unit 120 performs the color correction 402 based on the color correction parameter, so that the color chart 402 is output as a color chart 402 in a unique color space of the color chart 200.
図3に戻り、カメラ110が監視領域を撮像する(S304)。撮像画像は、色補正部120で色補正パラメータに基づき色補正され(S305)、背景抽出部121に入力される。カメラ110で撮像される画像には前景と背景が存在する。前景とは、人、車といった常に動きのあるもので、背景とは、壁、地面といった動きのないものである。背景抽出部121は、前景情報を除いた背景情報のみを抽出することにより背景画像を生成する(S306)。 Returning to FIG. 3, the camera 110 images the monitoring area (S304). The captured image is color-corrected by the color correction unit 120 based on the color correction parameter (S305) and input to the background extraction unit 121. The image captured by the camera 110 has a foreground and a background. The foreground is always moving, such as a person or a car, and the background is something without movement, such as a wall or the ground. The background extraction unit 121 generates a background image by extracting only background information excluding foreground information (S306).
背景抽出(背景画像の生成)を行うアルゴリズムの一例を示す。数フレームのカメラ撮像画像であるカメラ撮像画像群には、前景よりも背景の方に非常に多く情報が含まれていると仮定することが出来る。任意の個数存在する母集団から最頻値をとる最小二乗メディアン法を用いて、フレーム内で画素毎の最頻値を背景画素とすることにより、背景画像を生成する。 An example of an algorithm for performing background extraction (generation of a background image) is shown. It can be assumed that the camera-captured image group, which is a camera-captured image of several frames, contains much more information in the background than in the foreground. A background image is generated by setting a mode value for each pixel in a frame as a background pixel using a least square median method that takes a mode value from an arbitrary number of populations.
背景抽出部121で抽出された背景画像から、色抽出部123が、例えばY(輝度)U、V(色)といった輝度信号を除いた色情報を取得する(S307)。変換された色情報は、背景画素の位置情報と対応付けて、参照テーブル124に格納される(S308)。 From the background image extracted by the background extraction unit 121, the color extraction unit 123 acquires color information excluding luminance signals such as Y (luminance) U and V (color), for example (S307). The converted color information is stored in the reference table 124 in association with the position information of the background pixel (S308).
図5は、参照テーブルの一例を示す。この参照テーブルは、カメラ110がNTSC準拠、色情報がYUV規格の場合の例で、位置は720×480、U,Vの範囲は、16から240の範囲が格納される。 FIG. 5 shows an example of a reference table. This reference table is an example in which the camera 110 is NTSC compliant and the color information is YUV standard. The position is 720 × 480, and U, V ranges from 16 to 240.
図6は、本発明の第1の実施の形態における動的なカメラ色補正装置の通常運用動作を説明するためのフロー図を示す。通常運用動作について図6を用いてその動作を説明する。カメラ110が、監視領域を撮像する(S600)。撮像画像は、色補正部120で色補正され(S601)、背景確認部122に入力される。 FIG. 6 is a flowchart for explaining the normal operation operation of the dynamic camera color correction apparatus according to the first embodiment of the present invention. The normal operation operation will be described with reference to FIG. The camera 110 images the monitoring area (S600). The captured image is color-corrected by the color correction unit 120 (S601) and input to the background confirmation unit 122.
背景確認部122は、差分法や動きベクトル法を用いて、入力された撮像画像から背景であるか前景であるか、画素単位で確認する(S602)。例えば、差分法を用いる場合、現在のフレームの撮像画像とその1つ前のフレームの撮像画像との差分を求めて、動き領域を抽出し、その動き領域以外を背景であるとする。 The background confirmation unit 122 confirms whether it is the background or the foreground from the input captured image in units of pixels by using a difference method or a motion vector method (S602). For example, when the difference method is used, a difference between the captured image of the current frame and the captured image of the previous frame is obtained, a motion region is extracted, and a region other than the motion region is assumed to be the background.
背景確認部122で背景と確認された画素について、色抽出部123は、輝度信号を除いた色情報を取得する(S603)。色情報を取得するアルゴリズムは、ステップS307と同一である。抽出された色情報と、その画素の位置情報とは、色比較部125に送られる(S604)。 For the pixel confirmed as background by the background confirmation unit 122, the color extraction unit 123 acquires color information excluding the luminance signal (S603). The algorithm for obtaining color information is the same as that in step S307. The extracted color information and the position information of the pixel are sent to the color comparison unit 125 (S604).
色比較部125は、S604で送られてきた色情報と、参照テーブル124に格納されている色情報とを、位置情報に基づいて比較する(S605)。色情報の値が異なっている場合(S606)、日照変動等により、初期設定動作時に設定した色空間が変化したと判断され、色比較部125は、色補正部122に、色補正値変更命令と参照テーブル124の色情報と背景確認部122経由の色情報とを送信する(S606)。 The color comparison unit 125 compares the color information sent in S604 with the color information stored in the reference table 124 based on the position information (S605). If the values of the color information are different (S606), it is determined that the color space set during the initial setting operation has changed due to sunshine fluctuations, etc., and the color comparison unit 125 instructs the color correction unit 122 to change the color correction value. The color information of the reference table 124 and the color information via the background confirmation unit 122 are transmitted (S606).
色補正部120は、参照テーブル124の色情報と背景確認部122経由の色情報とを基に、現時刻の背景色が初期設定動作時の背景色として出力されるように色補正パラメータを更新(変更)する(S607)。色情報の値が異なっていない場合(S606)、ステップS600に戻る。 Based on the color information in the reference table 124 and the color information via the background confirmation unit 122, the color correction unit 120 updates the color correction parameters so that the background color at the current time is output as the background color during the initial setting operation. (Change) (S607). If the color information values are not different (S606), the process returns to step S600.
このような本発明の第1の実施の形態の動的なカメラ色補正装置によれば、背景抽出部121、色抽出部123で、初期設置時にカメラ110に撮像された背景の位置・色情報を参照テーブル124に保持し、背景確認部122、色抽出部123で、運用中のカメラ110の背景を抽出し、色比較部125で、日照変動により色空間が変化したか比較し、色補正部122で、色補正パラメータを更新することにより、カメラ110の設置環境や日照変動等の撮像環境の変化によらず自動的に撮像画像を適切に色補正することができる。 According to the dynamic camera color correction apparatus of the first embodiment of the present invention, the background position / color information captured by the camera 110 at the time of initial installation by the background extraction unit 121 and the color extraction unit 123. Is stored in the reference table 124, the background confirmation unit 122 and the color extraction unit 123 extract the background of the camera 110 in operation, and the color comparison unit 125 compares whether the color space has changed due to sunshine fluctuations and performs color correction. By updating the color correction parameter in the unit 122, the captured image can be automatically and appropriately color-corrected regardless of changes in the imaging environment such as the installation environment of the camera 110 and sunshine fluctuations.
(第2の実施の形態)
次に、本発明の第2の実施の形態の動的なカメラ色補正装置を説明する。図7は、本発明の第2の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図7において図1と共通する部分には同一の符号を付けてその説明を省略する。
(Second Embodiment)
Next, a dynamic camera color correction apparatus according to the second embodiment of the present invention will be described. FIG. 7 shows a configuration of a dynamic camera color correction apparatus according to the second embodiment of the present invention. 7 that are the same as those in FIG. 1 are given the same reference numerals, and descriptions thereof are omitted.
図7において、本実施の形態に係る動的なカメラ色補正装置700は、実施形態1で説明した色補正部120、背景抽出部121、背景確認部122、色抽出部123、参照テーブル124、色比較部125に加え、色補完部726を備えて構成される。 7, the dynamic camera color correction apparatus 700 according to the present embodiment includes the color correction unit 120, the background extraction unit 121, the background confirmation unit 122, the color extraction unit 123, the reference table 124, which are described in the first embodiment. In addition to the color comparison unit 125, a color complementing unit 726 is provided.
以上のように構成された動的なカメラ色補正装置700について、初期運用動作と通常運用動作の2種類説明する。初期運用動作は、前述の図3のステップS300〜ステップS308と同一であるので、説明を省略する。 The dynamic camera color correction apparatus 700 configured as described above will be described in terms of two types, an initial operation operation and a normal operation operation. Since the initial operation operation is the same as steps S300 to S308 in FIG. 3 described above, description thereof is omitted.
通常運用動作について、図8、図9を用いて説明する。図8は、UV色空間と背景色をカメラ撮像した場合のUV値の一例である。また、図9は、本発明の第2の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図9のステップS900〜ステップS907は、前述した図6のステップS600〜ステップS607と同一であるので、説明を省略する。 The normal operation operation will be described with reference to FIGS. FIG. 8 is an example of the UV value when the UV color space and the background color are captured by the camera. FIG. 9 is a flowchart for explaining the operation of the dynamic camera color correction apparatus according to the second embodiment of the present invention. Here, steps S900 to S907 in FIG. 9 are the same as steps S600 to S607 in FIG.
カメラ110で撮像されたUV色空間は、例えば、図2(b)に示すUV色空間220である。また、参照テーブル124に格納された背景画素のU,V値を、801a、802b、‥、801nとする。日照変動等により、背景画素の色801aが811aに変化したとする。 The UV color space imaged by the camera 110 is, for example, a UV color space 220 shown in FIG. Further, the U and V values of the background pixels stored in the reference table 124 are assumed to be 801a, 802b,. It is assumed that the background pixel color 801a changes to 811a due to sunshine fluctuations or the like.
色補完部726は、背景画素の色801a、802b、‥、801nの中から、背景画素の色801aと811aに近い色を探す(S908)。図8のように801bが近い場合、色補完部726は、色801aと801bを除いた、811a、801c、‥、801nを用いて色補完を行い、色補正パラメータを更新する(S909) The color complementing unit 726 searches for colors close to the background pixel colors 801a and 811a from the background pixel colors 801a, 802b,..., 801n (S908). When 801b is close as shown in FIG. 8, the color complementing unit 726 performs color complementation using 811a, 801c,..., 801n excluding the colors 801a and 801b, and updates the color correction parameters (S909).
以上のように本発明の第2の実施の形態の動的なカメラ色補正装置によれば、色補完部726で、変更された背景画素の色を用いて色補完を行い、色補正パラメータ全体を更新することにより、より精度の高い色補正をすることができる。 As described above, according to the dynamic camera color correction apparatus of the second embodiment of the present invention, the color complementation unit 726 performs color complementation using the changed background pixel color, and the entire color correction parameter. By updating, color correction with higher accuracy can be performed.
(第3の実施の形態)
次に、本発明の第3の実施の形態の動的なカメラ色補正装置を説明する。図10は、本発明の第3の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図10において図1、図7と共通する部分には同一の符号を付けてその説明を省略する。
(Third embodiment)
Next, a dynamic camera color correction apparatus according to the third embodiment of the present invention will be described. FIG. 10 shows the configuration of a dynamic camera color correction apparatus according to the third embodiment of the present invention. In FIG. 10, the same reference numerals are given to portions common to FIGS. 1 and 7, and description thereof is omitted.
図10において、本実施の形態に係る動的なカメラ色補正装置1000は、実施の形態1で説明した色補正部120、背景抽出部121、背景確認部122、色抽出部123、参照テーブル124、色比較部125と、実施の形態2で説明した色補完部726に加え、更新タイミング判別部1027を備えて構成される。 10, the dynamic camera color correction apparatus 1000 according to the present embodiment includes the color correction unit 120, the background extraction unit 121, the background confirmation unit 122, the color extraction unit 123, and the reference table 124 described in the first embodiment. In addition to the color comparison unit 125 and the color complementing unit 726 described in the second embodiment, an update timing determination unit 1027 is provided.
以上のように構成された動的なカメラ色補正装置1000について、初期運用動作と通常運用動作の2種類を説明する。初期運用動作は、前述の図3のステップS300〜ステップS308と同一であるので、説明を省略する。 The dynamic camera color correction apparatus 1000 configured as described above will be described in terms of two types, that is, an initial operation operation and a normal operation operation. Since the initial operation operation is the same as steps S300 to S308 in FIG. 3 described above, description thereof is omitted.
通常運用動作について、図11、図12を用いて説明する。図11は、本発明の第3の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図11のステップS1100〜ステップS1109は、前述した図9のステップS900〜ステップS909と同一であるので、説明を省略する。また、図12は、ブロック分割した背景画像の一例を示す。 The normal operation operation will be described with reference to FIGS. FIG. 11 is a flowchart for explaining the operation of the dynamic camera color correction apparatus according to the third embodiment of the present invention. Here, Steps S1100 to S1109 in FIG. 11 are the same as Steps S900 to S909 in FIG. FIG. 12 shows an example of a background image divided into blocks.
更新タイミング判別部1027は、背景確認部122から入力された背景画像を図12のように、N×M個に矩形分割する(S1110)。なお、図12に示すN=4、M=4の16分割は、一例を示すものであって、N,Mの分割数を限定するものでない。更新タイミング判別部1027は、分割された各領域について、輝度値の平均を計算する(S1111)。 The update timing determination unit 1027 divides the background image input from the background confirmation unit 122 into N × M rectangles as shown in FIG. 12 (S1110). The 16 divisions of N = 4 and M = 4 shown in FIG. 12 show an example and do not limit the number of divisions of N and M. The update timing determination unit 1027 calculates the average of the luminance values for each divided area (S1111).
通常運用動作1回目の場合、1回目の各領域の輝度値の平均を初期運用動作時の輝度値の平均として格納する(S1112)。更新タイミング判別部1027は、分割された各領域について、初期運用動作時の輝度値の平均と、現フレームの輝度値の平均を比較する(S1113)。 In the case of the first normal operation operation, the average of the luminance values of the respective areas in the first operation is stored as the average of the luminance values in the initial operation operation (S1112). The update timing determination unit 1027 compares the average luminance value during the initial operation operation with the average luminance value of the current frame for each of the divided regions (S1113).
輝度値に大きな変化があった場合(S1113:YES)、日照変動が発生したと判断し、ステップS1103〜ステップS1109の処理に進む。輝度値に大きな変化がない場合(S1113:NO)、日照変動が発生していないと判断し、ステップS1100に戻る。 If there is a significant change in the brightness value (S1113: YES), it is determined that sunshine fluctuation has occurred, and the process proceeds to steps S1103 to S1109. If there is no significant change in the luminance value (S1113: NO), it is determined that no sunshine fluctuation has occurred, and the process returns to step S1100.
このような本発明の第3の実施の形態の動的なカメラ色補正装置によれば、更新タイミング判別部1027が、背景画像の輝度値を検出し、前記背景画像の輝度値と初期運用時の輝度値(基準となる輝度値)との差に応じて色比較部125を機能させるか否か判別し、初期運用時に比べ日照変動が多く発生したときのみ、色補正パラメータの更新を行うことで、色補正を行うCPUもしくはDSPの処理負荷を軽減することができる。なお、更新タイミング判別部は、色情報に基づいて、色比較部125を機能させるか否か判別してもよい。 According to the dynamic camera color correction apparatus of the third embodiment of the present invention, the update timing determination unit 1027 detects the luminance value of the background image, and the luminance value of the background image and the initial operation time It is determined whether or not the color comparison unit 125 is made to function according to the difference between the brightness value (the reference brightness value) and the color correction parameter is updated only when sunshine fluctuations occur more than in the initial operation. Thus, the processing load on the CPU or DSP that performs color correction can be reduced. Note that the update timing determination unit may determine whether or not to cause the color comparison unit 125 to function based on the color information.
(第4の実施の形態)
次に、本発明の第4の実施の形態の動的なカメラ色補正装置を説明する。図13は、本発明の第4の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図13において図1、図7、図10と共通する部分には同一の符号を付けてその説明を省略する。
(Fourth embodiment)
Next, a dynamic camera color correction apparatus according to the fourth embodiment of the present invention will be described. FIG. 13 shows the configuration of a dynamic camera color correction apparatus according to the fourth embodiment of the present invention. In FIG. 13, the same reference numerals are given to portions common to FIGS. 1, 7, and 10, and description thereof is omitted.
図13において、本実施の形態に係る動的なカメラ色補正装置1300は、実施の形態1で説明した色補正部120、色抽出部123、参照テーブル124、色比較部125と、実施の形態2で説明した色補完部726と、実施の形態3で説明した更新タイミング判別部1027に加え、背景抽出部1321、背景確認部1322、バッファ1328、バッファ1329を備えて構成される。 13, the dynamic camera color correction apparatus 1300 according to the present embodiment includes the color correction unit 120, the color extraction unit 123, the reference table 124, the color comparison unit 125 described in the first embodiment, and the embodiment. In addition to the color complementing unit 726 described in 2 and the update timing determination unit 1027 described in Embodiment 3, a background extraction unit 1321, a background confirmation unit 1322, a buffer 1328, and a buffer 1329 are provided.
以上のように構成された動的なカメラ色補正装置1300について、初期運用動作と通常運用動作の2種類を説明する。まず、初期運用動作について図14、図15を用いてその動作を説明する。図14は、本発明の第4の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図14のステップS1400〜ステップS1405は、前述した図3のステップS300〜ステップS305と同一であるので、説明を省略する。 With respect to the dynamic camera color correction apparatus 1300 configured as described above, two types of initial operation operation and normal operation operation will be described. First, the initial operation operation will be described with reference to FIGS. FIG. 14 is a flowchart for explaining the operation of the dynamic camera color correction apparatus according to the fourth embodiment of the present invention. Here, Steps S1400 to S1405 in FIG. 14 are the same as Steps S300 to S305 in FIG.
図15(a)は、現画像の一例であり、図15(b)および図15(c)は、背景画素の一例であり、図15(d)は、背景画素について時系列で作成したヒストグラムの一例である。図15(a)のように家の前に葉っぱが存在し、葉っぱが風などで揺れる場合、図15(a)の矩形画素には、図15(b)に示す葉っぱ、図15(c)に示す家の2種類の背景色が存在する。そのため、背景抽出部1321は、2種類の背景色を抽出する必要がある。 15A is an example of the current image, FIGS. 15B and 15C are examples of the background pixel, and FIG. 15D is a histogram created for the background pixel in time series. It is an example. When a leaf exists in front of the house as shown in FIG. 15A and the leaf is shaken by wind or the like, the rectangular pixel in FIG. 15A has the leaf shown in FIG. 15B, FIG. 15C. There are two types of background colors for the house. Therefore, the background extraction unit 1321 needs to extract two types of background colors.
以下、2種類の背景色を抽出するアルゴリズムの一例を説明する。色補正部120で色補正パラメータに基づき色補正された撮像画像は、バッファ1328に格納される(S1406)。背景抽出部1321は、時系列的に格納された撮像画像について各画素毎にヒストグラム(図15(d))を生成する(S1407)。生成されたヒストグラムから、例えば、Mixture of Gaussian法や閾値法などを用いて、頻度の高い輝度b(葉っぱの輝度)、輝度c(家の輝度)を抽出する(S1408)。 図15(d)では、横軸を輝度としたが、輝度に制限するものでなく色も含んでよい。 Hereinafter, an example of an algorithm for extracting two types of background colors will be described. The captured image that has been color-corrected by the color correction unit 120 based on the color correction parameter is stored in the buffer 1328 (S1406). The background extraction unit 1321 generates a histogram (FIG. 15D) for each pixel of the captured images stored in time series (S1407). From the generated histogram, for example, using the Mixture of Gaussian method, the threshold method, and the like, the high-frequency luminance b (leaf luminance) and luminance c (house luminance) are extracted (S1408). In FIG. 15 (d), the horizontal axis is the luminance, but the luminance is not limited and may include a color.
色抽出部123は、輝度b、輝度cの各画素の位置情報と画素情報から、例えばY(輝度)U、V(色)といった輝度信号を除いた2つの色情報を取得する(S1409)。変換された色情報は、画素の位置情報と2つの色情報を対応付けて、参照テーブル124に格納される(S1410)。 The color extraction unit 123 acquires two pieces of color information obtained by removing luminance signals such as Y (luminance) U and V (color) from the position information and pixel information of each pixel of luminance b and luminance c (S1409). The converted color information is stored in the reference table 124 in association with the pixel position information and the two color information (S1410).
次に、通常運用動作について図16を用いて説明する。図16は、本発明の第4の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図16のステップS1600〜ステップS1609は、前述した図9のステップS900〜ステップS909と同一であるので、説明を省略する。 Next, the normal operation operation will be described with reference to FIG. FIG. 16 is a flowchart for explaining the operation of the dynamic camera color correction apparatus according to the fourth embodiment of the present invention. Here, Steps S1600 to S1609 in FIG. 16 are the same as Steps S900 to S909 in FIG.
カメラ110で撮像された監視領域の画像は、バッファ1329に格納される(S1614)。背景確認部1322は、時系列的に格納された撮像画像について各画素毎にヒストグラム(図15(d))を生成する(S1615)。生成されたヒストグラムから、例えば、Mixture of Gaussian法や閾値法などを用いて、頻度の高い輝度b(葉っぱの輝度)、輝度c(家の輝度)を抽出する(S1616)。 An image of the monitoring area captured by the camera 110 is stored in the buffer 1329 (S1614). The background confirmation unit 1322 generates a histogram (FIG. 15D) for each pixel of the captured images stored in time series (S1615). From the generated histogram, for example, using the Mixture of Gaussian method or the threshold method, the luminance b (leaf luminance) and the luminance c (house luminance) are extracted (S1616).
更新タイミング判別部1027は、背景画像を図12に示すように、N×M個に矩形分割する(S1617)。なお、図12のN=4、M=4の16分割は、一例を示すものであって、N,Mの分割数を限定するものでない。 The update timing determination unit 1027 divides the background image into N × M rectangles as shown in FIG. 12 (S1617). Note that the 16 divisions of N = 4 and M = 4 in FIG. 12 show an example, and the number of divisions of N and M is not limited.
分割された各領域について、輝度bと輝度cの2種類の領域について、輝度値の平均を計算する(S1618)。通常運用動作1回目の場合、1回目の各領域の輝度値の平均を初期運用動作時の輝度値の平均として格納する(S1619)。分割された各領域について、初期運用動作時の2種類の輝度値の平均のそれぞれと、2種類の現フレームの輝度値の平均とを比較する(S1620)。 For each divided area, the average of the luminance values is calculated for two types of areas, luminance b and luminance c (S1618). In the case of the first normal operation operation, the average of the luminance values of the respective areas in the first operation is stored as the average of the luminance values in the initial operation operation (S1619). For each of the divided areas, the average of the two types of luminance values during the initial operation operation is compared with the average of the two types of luminance values of the current frame (S1620).
比較した2種類の輝度値のどちらかに大きな変化があった場合(S1620:YES)、ステップS1603〜ステップS1609に進む。比較した2種類の輝度値のどちらかに大きな変化がない場合(S1620:NO)、ステップS1600に戻る。また、2種類の背景色を抽出するアルゴリズムを記載したが、2種類に制限するものではない。 If there is a significant change in either of the two compared luminance values (S1620: YES), the process proceeds to step S1603 to step S1609. If there is no significant change in either of the two compared luminance values (S1620: NO), the process returns to step S1600. Moreover, although the algorithm which extracts two types of background colors was described, it does not restrict | limit to two types.
このような本発明の第4の実施の形態の動的なカメラ色補正装置によれば、背景抽出部1321と背景確認部1322で、複数の背景画素を抽出することにより、葉っぱや旗等の揺れが発生した場合であっても、精度よく色補正するができる。 According to such a dynamic camera color correction apparatus of the fourth embodiment of the present invention, a background extraction unit 1321 and a background confirmation unit 1322 extract a plurality of background pixels, so that a leaf, a flag, etc. Even when shaking occurs, color correction can be performed with high accuracy.
(第5の実施の形態)
次に、本発明の第5の実施の形態の動的なカメラ色補正装置を説明する。図17は、本発明の第5の実施の形態の動的なカメラ色補正装置の構成を示す。なお、図17において図1、図7、図10、図13と共通する部分には同一の符号を付けてその説明を省略する。
(Fifth embodiment)
Next, a dynamic camera color correction apparatus according to the fifth embodiment of the present invention will be described. FIG. 17 shows the configuration of a dynamic camera color correction apparatus according to the fifth embodiment of the present invention. In FIG. 17, the same reference numerals are given to portions common to FIGS. 1, 7, 10, and 13 and the description thereof is omitted.
図17において、本実施の形態に係る動的なカメラ色補正装置1700は、実施の形態1で説明した色補正部120、色抽出部123、参照テーブル124、色比較部125と、実施の形態2で説明した色補完部726と、実施の形態3で説明した更新タイミング判別部1027と、実施の形態4で説明した背景抽出部1321、背景確認部1322、バッファ1328、バッファ1329に加え、背景変化確認部1730を備えて構成される。 17, the dynamic camera color correction apparatus 1700 according to the present embodiment includes the color correction unit 120, the color extraction unit 123, the reference table 124, the color comparison unit 125 described in the first embodiment, and the embodiment. 2 in addition to the color complementing unit 726 described in the second embodiment, the update timing determining unit 1027 described in the third embodiment, the background extraction unit 1321, the background confirmation unit 1322, the buffer 1328, and the buffer 1329 described in the fourth embodiment. A change confirmation unit 1730 is provided.
以上のように構成された動的なカメラ色補正装置1700について、初期運用動作と通常運用動作の2種類を説明する。初期運用動作は、前述の図14のステップS1400〜ステップS1410と同一であるので、説明を省略する。 With respect to the dynamic camera color correction apparatus 1700 configured as described above, two types of operations, that is, an initial operation and a normal operation will be described. Since the initial operation operation is the same as Steps S1400 to S1410 in FIG. 14 described above, description thereof is omitted.
通常運用動作について、図18、図19を用いて説明する。図18および図19は、本発明の第5の実施の形態における動的なカメラ色補正装置の動作説明のためのフロー図である。ここで、図18のステップS1800〜ステップS1820は、前述した図16のステップS1600〜ステップS1620と同一であるので、説明を省略する。 The normal operation operation will be described with reference to FIGS. 18 and 19 are flowcharts for explaining the operation of the dynamic camera color correction apparatus according to the fifth embodiment of the present invention. Here, steps S1800 to S1820 in FIG. 18 are the same as steps S1600 to S1620 in FIG.
背景確認部1322で抽出された背景画像(群)は、背景変化確認部1730に送られる。背景変化確認部1730は、1つ前のフレームの背景画像(群)と現在の背景画像(群)との差分を求める(S1821)。 The background image (group) extracted by the background confirmation unit 1322 is sent to the background change confirmation unit 1730. The background change confirmation unit 1730 obtains a difference between the background image (group) of the previous frame and the current background image (group) (S1821).
背景変化確認部1730は、1つ前のフレームの背景画像(群)に、現在の背景画像(群)を上書き保存する(S1822)。差分結果に大きさ差異が存在した場合(S1823:YES)、ステップS1904〜ステップS1910(図19参照)に進む。 The background change confirmation unit 1730 overwrites and saves the current background image (group) over the background image (group) of the previous frame (S1822). When there is a size difference in the difference result (S1823: YES), the process proceeds to step S1904 to step S1910 (see FIG. 19).
図19のステップS1904〜ステップS1910は、前述した図14のステップS1404〜ステップS1410と同一であるので、説明を省略する。差分結果に大きな差異が存在しない場合(S1823:NO)、ステップS1817〜ステップS1820、ステップS1803〜ステップS1809の処理に進む。 Steps S1904 to S1910 in FIG. 19 are the same as steps S1404 to S1410 in FIG. When there is no large difference in the difference result (S1823: NO), the process proceeds to steps S1817 to S1820 and steps S1803 to S1809.
このような本発明の第4の実施の形態の動的なカメラ色補正装置によれば、背景変化確認部1730で、1つ前のフレームの背景画像(群)と現在の背景画像(群)を比較することにより、背景画像に含まれている駐車車両等が移動した場合であっても、精度よく色補正することができる。 According to the dynamic camera color correction apparatus of the fourth embodiment of the present invention, the background change confirmation unit 1730 uses the background image (group) of the previous frame and the current background image (group). By comparing these, even if the parked vehicle or the like included in the background image moves, color correction can be performed with high accuracy.
(第6の実施の形態)
次に、本発明の第6の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置を説明する。図20は、本発明の第6の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置の構成を示す。なお、図20において図1と共通する部分には同一の符号を付けてその説明を省略する。
(Sixth embodiment)
Next, a video search apparatus including a dynamic camera color correction apparatus according to the sixth embodiment of the present invention will be described. FIG. 20 shows a configuration of a video search apparatus including a dynamic camera color correction apparatus according to the sixth embodiment of the present invention. In FIG. 20, parts that are the same as those in FIG.
図20において、本実施の形態の映像検索装置は、カメラ110と、監視装置2000と、データベース(DB)2035、人物検索部2036、検索結果表示部2037、キーボード・マウス2038から構成される。 In FIG. 20, the video search apparatus according to the present embodiment includes a camera 110, a monitoring apparatus 2000, a database (DB) 2035, a person search unit 2036, a search result display unit 2037, and a keyboard / mouse 2038.
監視装置2000は、上述した実施の形態1に係る動的なカメラ色補正装置100、動領域抽出部2031、人判別部2032、領域分割部2033、代表色算出部2034、から構成される。 The monitoring apparatus 2000 includes the dynamic camera color correction apparatus 100 according to the first embodiment described above, a moving area extraction unit 2031, a person determination unit 2032, an area division unit 2033, and a representative color calculation unit 2034.
以上のように構成された本実施の形態6の映像検索装置について、蓄積動作、検索動作について説明する。まず、蓄積動作について、図21、図22を用いてその動作を説明する。図21は、本発明の第6の実施の形態における、動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。また、図22はその説明図である。なお、動的なカメラ色補正装置100の動作は、上述した実施の形態1の動作と同一であるので、説明を省略する。 The accumulation operation and search operation of the video search apparatus according to the sixth embodiment configured as described above will be described. First, the accumulation operation will be described with reference to FIGS. FIG. 21 is a flowchart for explaining the operation of the video search apparatus including the dynamic camera color correction apparatus in the sixth embodiment of the present invention. FIG. 22 is an explanatory diagram thereof. Note that the operation of the dynamic camera color correction apparatus 100 is the same as the operation of the first embodiment described above, and a description thereof will be omitted.
色補正部120が処理した撮像画像は、動領域抽出部2031に入力される(S2100)。動領域抽出部2031は、入力された撮像画像とあらかじめ保持する背景画像との差分値を算出する背景差分処理を行う(S2101)。 The captured image processed by the color correction unit 120 is input to the moving region extraction unit 2031 (S2100). The moving region extraction unit 2031 performs background difference processing for calculating a difference value between the input captured image and a background image held in advance (S2101).
次に、動領域抽出部2031は、撮像画像に動きがあるか否かを判別する(S2102)。具体的には、動領域抽出部2031は、S2102における背景差分処理において、差分値があらかじめ決められた値より大きな場合には映像に動きがあると判定し、そうでない場合には画像に動きがないと判定する。 Next, the moving region extraction unit 2031 determines whether or not there is a motion in the captured image (S2102). Specifically, in the background difference processing in S2102, the moving region extraction unit 2031 determines that there is motion in the video if the difference value is larger than a predetermined value, and otherwise moves the image. Judge that there is no.
なお、動領域抽出部2031は、S2101において、背景差分処理以外の処理を行い、S2102において、その背景差分処理以外の処理の結果に応じて画像に動きがあるか否かを判定するようにしても良い。 Note that the moving region extraction unit 2031 performs processing other than the background difference processing in S2101, and determines whether or not there is motion in the image according to the result of processing other than the background difference processing in S2102. Also good.
動領域抽出部2031に入力された撮像画像に対応する映像に動きがある場合には、動領域抽出部2031は、その映像内の動領域を抽出する(S2103)。更に、動領域抽出部2031は、動領域の撮像画像を、人判定部2032へ出力する。 When the video corresponding to the captured image input to the moving area extraction unit 2031 has a motion, the moving area extraction unit 2031 extracts the moving area in the video (S2103). Further, the moving region extraction unit 2031 outputs the captured image of the moving region to the person determination unit 2032.
人判定部2032は、動領域抽出部2031からの動領域の撮像画像が入力されると、楕円ハフ処理を行う(S2104)。次に、人判定部2032は、動領域の撮像画像が人であることの条件を満たしているか否かを判定する(S2105)。 When the captured image of the moving area is input from the moving area extraction unit 2031, the person determination unit 2032 performs elliptical Hough processing (S 2104). Next, the person determination unit 2032 determines whether or not the captured image of the moving region satisfies the condition that it is a person (S2105).
具体的には、人判定部2032は、S2104における楕円ハフ処理によって、動領域内に人の顔らしい楕円形状の領域を検出することができた場合には、その動領域が人であることの条件を満たしていると判定する。また、人の顔らしい楕円形状の領域を検出することができなかった場合には、その動領域が人であることの条件を満たしていないと判定する。 Specifically, when the human determination unit 2032 can detect an elliptical region that is likely to be a human face in the moving region by the elliptical hough process in S2104, the moving region is a person. It is determined that the condition is satisfied. If an elliptical area that is likely to be a person's face cannot be detected, it is determined that the moving area does not satisfy the condition of being a person.
なお、人判定部2032は、S2104において、楕円ハフ処理以外の処理(例えば、蓄積対象動領域全体の形状、大きさ等を導出する処理)を行い、S2105において、その楕円ハフ処理以外の処理の結果に応じて動領域が人であることの条件を満たしているか否か判定するようにしても良い。 In S2104, the person determination unit 2032 performs a process other than the elliptical Hough process (for example, a process for deriving the shape, size, etc. of the entire accumulation target moving area). In S2105, the person determination unit 2032 performs a process other than the elliptical Hough process. It may be determined whether or not the condition that the moving area is a person is satisfied according to the result.
動領域が人であることの条件を満たしていない場合(S2105:NO)には、ステップS2100に戻る。動領域が人であることの条件を満たしている場合(S2105:YES)には、人判定部2032は、動領域の撮像画像を、領域分割部2033へ出力する。 If the condition that the moving area is a person is not satisfied (S2105: NO), the process returns to step S2100. When the condition that the moving area is a person is satisfied (S2105: YES), the person determining unit 2032 outputs the captured image of the moving area to the area dividing unit 2033.
領域分割部2033は、人判定部2032からの動領域撮像画像を複数のブロック領域に分割する(S2106)。例えば、領域分割部2033は、図22のように、頭、上半身、下半身、靴の4つに分割する。分割するアルゴリズムは、K−Mean法でも、反復型領域拡張法でもよい。なお、動領域の分割数やブロック領域の形状、分割アルゴリズムは特に限定されるものではない。 The area dividing unit 2033 divides the moving area captured image from the person determining unit 2032 into a plurality of block areas (S2106). For example, the area dividing unit 2033 divides the head, upper body, lower body, and shoes into four parts as shown in FIG. The dividing algorithm may be the K-Mean method or the iterative region expansion method. Note that the number of divisions of the moving area, the shape of the block area, and the division algorithm are not particularly limited.
領域分割部2033は、分割された各ブロック領域に対応する撮像画像を、代表色算出部2034へ出力する。代表色算出部2034は、各ブロック領域を所定の色変換アルゴリズム(例えば、RGB表色系を、HSV表色系やLab表色系、YUV表色系に変換する)で、各ブロック領域の代表色を算出する(S2107)。例えば、領域内の色の平均値や、最頻値、ヒストグラム全体でもよい。 The area dividing unit 2033 outputs the captured image corresponding to each divided block area to the representative color calculating unit 2034. The representative color calculation unit 2034 represents each block area with a predetermined color conversion algorithm (for example, converting an RGB color system into an HSV color system, a Lab color system, or a YUV color system). A color is calculated (S2107). For example, an average value of colors in the region, a mode value, or the entire histogram may be used.
更に、代表色算出部2034は、各ブロック領域のテクスチャ情報を取得する(S2108)。例えば、2次元ガボール変換による空間ー周波数解析手法や、縦、横、斜め方向のエッジヒストグラムでも良い。 Further, the representative color calculation unit 2034 acquires texture information of each block area (S2108). For example, a space-frequency analysis method using two-dimensional Gabor transformation, or an edge histogram in the vertical, horizontal, and diagonal directions may be used.
次に、代表色算出部2034は、DB2035に代表色情報、テクスチャ情報を出力する。DB2035は、代表色情報、テクスチャ情報を蓄積する(S2109)。なお、DB2035は、代表色情報、テクスチャ情報に対応付けて、撮像したカメラ110の識別番号、撮像日時、サムネイル画像を蓄積するようにしてもよい。 Next, the representative color calculation unit 2034 outputs representative color information and texture information to the DB 2035. The DB 2035 accumulates representative color information and texture information (S2109). The DB 2035 may store the identification number of the captured camera 110, the imaging date and time, and the thumbnail image in association with the representative color information and texture information.
上述したステップS2100〜ステップS2109の処理が繰り返されることによって、DB2035には、複数の人物に対応する代表色情報、テクスチャ情報が蓄積される。 By repeating the processes in steps S2100 to S2109 described above, representative color information and texture information corresponding to a plurality of persons are accumulated in the DB 2035.
次に、検索動作について、図23を用いて説明する。図23は、本発明の第6の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。 Next, the search operation will be described with reference to FIG. FIG. 23 is a flowchart for explaining the operation of the video search apparatus including the dynamic camera color correction apparatus according to the sixth embodiment of the present invention.
まず、ユーザがキーボード・マウス2038を介して、人物検索部2036に、人物検索命令を送信する(S2300)。人物検索命令は、例えば、DB2035に蓄積されたサムネイル画像でも、赤、青、黄色といった知覚代表11色でも、日時、カメラ110の識別番号でもよい。 First, the user transmits a person search command to the person search unit 2036 via the keyboard / mouse 2038 (S2300). The person search command may be, for example, a thumbnail image stored in the DB 2035, eleven perceptual representative colors such as red, blue, and yellow, the date and time, and the camera 110 identification number.
また、上半身が赤色で、下半身が黒と白のストライプのテクスチャをもち、2005年11月11日10時10分〜2005年11月11日20時45分の間に、カメラ番号1に撮像された人物を検索といった、絞込検索をしてもよい。 In addition, the upper body has a red and black stripe texture on the lower body, and is captured by camera number 1 between 10:10 on November 11, 2005 and 20:45 on November 11, 2005. A refined search such as searching for a person may be performed.
人物検索部2036は、人物検索命令が入力されると、DB2035から人物検索命令に対応した人物に対応する代表色情報、テクスチャ情報を読み出す(S2301)。例えば、カメラ番号1の人物と人物検索命令が出ている場合、カメラ番号2に撮像された人物は読み出さない。 When the person search command is input, the person search unit 2036 reads representative color information and texture information corresponding to the person corresponding to the person search command from the DB 2035 (S2301). For example, when a person with camera number 1 and a person search command are issued, the person imaged by camera number 2 is not read.
次に、人物検索部2036は、読み出された人物に対応する代表色情報、テクスチャ情報を、人物検索命令に沿ってスコア算出する(S2302)。例えば、DB2035から人物A、人物B、人物Cの代表色情報、テクスチャ情報が読み出されたとする。また、人物検索命令が、人物Dの上半身の色と似ている人とする。 Next, the person search unit 2036 calculates a score of representative color information and texture information corresponding to the read person according to the person search command (S2302). For example, assume that representative color information and texture information of person A, person B, and person C are read from the DB 2035. Further, it is assumed that the person search command is similar to the color of the upper body of the person D.
人物Aの上半身の色情報を2次元座標(A1、A2)、人物Bの上半身の色情報を2次元座標(B1、B2)、人物Cの上半身の色情報を2次元座標(C1、C2)、人物Dの上半身の色情報を2次元座標(D1、D2)とすると、Dの座標と、A,B,Cの座標のユークリッド距離を算出する。なお、ユークリッド距離以外の手法で、スコア算出してもよい。 The color information of the upper body of the person A is two-dimensional coordinates (A1, A2), the color information of the upper body of the person B is two-dimensional coordinates (B1, B2), and the color information of the upper body of the person C is two-dimensional coordinates (C1, C2). If the color information of the upper body of the person D is two-dimensional coordinates (D1, D2), the Euclidean distance between the D coordinates and the A, B, C coordinates is calculated. Note that the score may be calculated by a method other than the Euclidean distance.
次に、検索結果表示部2037は、人物検索部2036が算出したスコア順に、例えばサムネイル画像を表示する(S2303)。なお、監視装置2000は、動的なカメラ色補正装置100の代わりに、実施の形態2の動的なカメラ色補正装置700、実施の形態3の動的なカメラ色補正装置900、実施の形態4の動的なカメラ色補正装置1300、実施の形態5の動的なカメラ色補正装置1700を備えてもよい。 Next, the search result display unit 2037 displays, for example, thumbnail images in the order of the scores calculated by the person search unit 2036 (S2303). Note that the monitoring device 2000 replaces the dynamic camera color correction device 100 with the dynamic camera color correction device 700 according to the second embodiment, the dynamic camera color correction device 900 according to the third embodiment, and the embodiment. 4 dynamic camera color correction apparatuses 1300 and the dynamic camera color correction apparatus 1700 of the fifth embodiment may be provided.
なお、本実施の形態の監視装置2000において、動的なカメラ色補正装置100は、カメラ110内部に実装されてもよい。また、本実施の形態6の監視装置2000における動領域抽出部2031、人判定部2032、領域分割部2033、代表色算出部2034は、カメラ110内部に実装されてもよい。 In the monitoring apparatus 2000 of the present embodiment, the dynamic camera color correction apparatus 100 may be mounted inside the camera 110. In addition, the moving region extraction unit 2031, the person determination unit 2032, the region division unit 2033, and the representative color calculation unit 2034 in the monitoring apparatus 2000 according to the sixth embodiment may be mounted inside the camera 110.
このような本発明の第6の実施の形態によれば、動的なカメラ色補正装置100で、動的に色補正を行うことにより、カメラの個体差、日照の変動等の影響を受けることなく、精度の良い人物検索をすることができる。 According to the sixth embodiment of the present invention as described above, the dynamic camera color correction apparatus 100 is subjected to dynamic color correction to be affected by individual differences in the camera, fluctuations in sunlight, and the like. The person search can be performed with high accuracy.
(第7の実施の形態)
次に、本発明の第7の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置を説明する。図24は、本発明の第7の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置の構成を示す。なお、図24において図1、図20と共通する部分には同一の符号を付けてその説明を省略する
(Seventh embodiment)
Next, a video search apparatus including a dynamic camera color correction apparatus according to a seventh embodiment of the present invention will be described. FIG. 24 shows the configuration of a video search apparatus including a dynamic camera color correction apparatus according to the seventh embodiment of the present invention. In FIG. 24, the same reference numerals are given to the portions common to FIGS.
図24において、本実施の形態の映像検索装置は、カメラ110と、実施の形態6で説明した監視装置2000、DB2035、人物検索部2036、キーボード・マウス2038に加え、圧縮部2439、ストレージ2440、展開部2441、表示部2442を備えて構成される。 In FIG. 24, the video search apparatus according to the present embodiment includes a camera 110, a monitoring apparatus 2000, a DB 2035, a person search unit 2036, a keyboard / mouse 2038 described in the sixth embodiment, a compression unit 2439, a storage 2440, A development unit 2441 and a display unit 2442 are provided.
監視装置2000は、上述した実施の形態1に係る動的なカメラ色補正装置100、上述した実施の形態6に係る動領域抽出部2031、人判別部2032、領域分割部2033、代表色算出部2034、から構成される。 The monitoring device 2000 includes the above-described dynamic camera color correction device 100 according to the first embodiment, the moving region extraction unit 2031 according to the above-described sixth embodiment, the person determination unit 2032, the region division unit 2033, and the representative color calculation unit. 2034.
以上のように構成された本実施の形態7の映像検索装置について、DB蓄積動作、ストレージ蓄積動作、表示動作について説明する。蓄積動作は、前述の図21のステップS2100〜ステップS2109と同一であるので、説明を省略する。 The DB storage operation, storage storage operation, and display operation of the video search apparatus according to the seventh embodiment configured as described above will be described. The accumulation operation is the same as Step S2100 to Step S2109 in FIG.
ストレージ蓄積動作について、図25を用いて説明する。図25は、本発明の第7の実施の形態における、動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。 The storage accumulation operation will be described with reference to FIG. FIG. 25 is a flowchart for explaining the operation of the video search apparatus including the dynamic camera color correction apparatus in the seventh embodiment of the present invention.
色補正部120は、色補正した撮像画像を、圧縮部2439に出力する(S2500)。圧縮部2439は、撮像画像を所定の圧縮方式で圧縮し(S2501)、圧縮された撮像画像はストレージ2440に蓄積される(S2502)。ここで、所定の圧縮方式としては、例えばMPEG(Movging Picture Experts Group)方式、JPEG(Joint Photographic Experts Group)方式等が用いられる。 The color correction unit 120 outputs the color-corrected captured image to the compression unit 2439 (S2500). The compression unit 2439 compresses the captured image using a predetermined compression method (S2501), and the compressed captured image is accumulated in the storage 2440 (S2502). Here, as the predetermined compression method, for example, an MPEG (Moving Picture Experts Group) method, a JPEG (Joint Photographic Experts Group) method, or the like is used.
なお、ストレージ2440は、圧縮画像に対応付けて、撮像したカメラ110の識別番号、撮像日時を蓄積するようにしてもよい。上述したステップS2500〜ステップS2502の処理が繰り返されることによって、ストレージ2440に撮像画像が格納される。 The storage 2440 may store the identification number of the captured camera 110 and the imaging date and time in association with the compressed image. The captured image is stored in the storage 2440 by repeating the processes in steps S 2500 to S 2502 described above.
表示動作について、図26を用いて説明する。図26は、本発明の第7の実施の形態における、動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。ここで、図26のステップS2600〜ステップS2602は、前述した図23のステップS2300〜ステップS2302と同一であるので、説明を省略する。 The display operation will be described with reference to FIG. FIG. 26 is a flowchart for explaining the operation of the video search apparatus including the dynamic camera color correction apparatus in the seventh embodiment of the present invention. Here, step S2600 to step S2602 in FIG. 26 are the same as step S2300 to step S2302 in FIG.
人物検索部2036によって算出された最上位のスコアの人物の画像を再生するよう、展開部2441に人物再生命令を送信する(S2603)。例えば、最上位のスコアが、2005年11月11日10時10分00秒にカメラ番号1で撮像された人物の場合、人物再生命令は、2005年11月11日10時10分00秒〜2005年11月11日10時11分00秒のカメラ番号1の圧縮画像を展開せよ、というようになる。 A person reproduction command is transmitted to the expansion unit 2441 so as to reproduce the image of the person with the highest score calculated by the person search unit 2036 (S2603). For example, in the case where the highest score is a person imaged with camera number 1 on November 11, 2005 at 10:10:00, the person reproduction command is from November 11, 2005, 10:10:00 to The compressed image of camera number 1 on November 11, 2005, 10:11:00 is to be expanded.
展開部2441は、人物再生命令に従い、ストレージ2440から圧縮画像を読み出し(S2604)、所定の伸張方式で、伸張する(S2605)。ここで、所定の伸張方式は、圧縮部2439の圧縮方式と対応した伸張方式をとる。伸張された画像を、表示部2442で表示する(S2606)。 The decompressing unit 2441 reads the compressed image from the storage 2440 according to the person reproduction command (S2604), and decompresses the compressed image using a predetermined decompression method (S2605). Here, the predetermined expansion method is an expansion method corresponding to the compression method of the compression unit 2439. The expanded image is displayed on the display unit 2442 (S2606).
なお、監視装置2000は、動的なカメラ色補正装置100の代わりに、実施の形態2の動的なカメラ色補正装置700、実施の形態3の動的なカメラ色補正装置900、実施の形態4の動的なカメラ色補正装置1300、実施の形態5の動的なカメラ色補正装置1700を備えてもよい。 Note that the monitoring device 2000 replaces the dynamic camera color correction device 100 with the dynamic camera color correction device 700 according to the second embodiment, the dynamic camera color correction device 900 according to the third embodiment, and the embodiment. 4 dynamic camera color correction apparatuses 1300 and the dynamic camera color correction apparatus 1700 of the fifth embodiment may be provided.
また、圧縮部2439にて、圧縮するフレームを選択し、間欠して圧縮しても良い。これにより、扱うデータ量を減らすことができる。また、動的なカメラ色補正装置100は、カメラ110内部に実装されてもよい。また、動領域抽出部2031、人判定部2032、領域分割部2033、代表色算出部2034は、カメラ110内部に実装されてもよい。 Further, the compression unit 2439 may select a frame to be compressed, and may compress intermittently. As a result, the amount of data handled can be reduced. Further, the dynamic camera color correction apparatus 100 may be mounted inside the camera 110. Further, the moving region extraction unit 2031, the person determination unit 2032, the region division unit 2033, and the representative color calculation unit 2034 may be mounted inside the camera 110.
このような本発明の第7の実施の形態によれば、動的なカメラ色補正装置100で、動的に色補正を行い、色補正された映像をストレージ2440に蓄積し、表示部2442で表示することで、カメラの個体差、日照の変動等の影響を受けることなく、所望の人物を映像再生することができる。 According to the seventh embodiment of the present invention as described above, the dynamic camera color correction apparatus 100 performs color correction dynamically, accumulates the color-corrected video in the storage 2440, and the display unit 2442. By displaying, a desired person can be played back without being affected by individual differences of cameras, fluctuations in sunlight, and the like.
(第8の実施の形態)
次に、本発明の第8の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置を説明する。図27は、本発明の第7の実施の形態の、動的なカメラ色補正装置を含んだ映像検索装置の構成を示す。なお、図27において図1、図20、図24と共通する部分には同一の符号を付けてその説明を省略する
(Eighth embodiment)
Next, a video search apparatus including a dynamic camera color correction apparatus according to an eighth embodiment of the present invention will be described. FIG. 27 shows the configuration of a video search apparatus including a dynamic camera color correction apparatus according to the seventh embodiment of the present invention. In FIG. 27, parts common to FIGS. 1, 20, and 24 are denoted by the same reference numerals and description thereof is omitted.
図27において、本実施の形態の映像検索装置は、カメラ110と、実施の形態6で説明した監視装置2000、表示部2442に加え、人物マッチング部2743、映像切替部2745を備えて構成される。 In FIG. 27, the video search apparatus according to the present embodiment includes a camera 110, the monitoring apparatus 2000 and the display unit 2442 described in the sixth embodiment, and a person matching unit 2743 and a video switching unit 2745. .
監視装置2000は、上述した実施の形態1に係る動的なカメラ色補正装置100、上述した実施の形態6に係る動領域抽出部2031、人判別部2032、領域分割部2033、代表色算出部2034、から構成される。 The monitoring device 2000 includes the above-described dynamic camera color correction device 100 according to the first embodiment, the moving region extraction unit 2031 according to the above-described sixth embodiment, the person determination unit 2032, the region division unit 2033, and the representative color calculation unit. 2034.
以上のように構成された本実施の形態8の映像検索装置について、図28を用いて説明する。図28は、本発明の第8の実施の形態における動的なカメラ色補正装置を含んだ映像検索装置の動作説明のためのフロー図である。ここで、図28のステップS2800〜ステップS2808は、前述した図21のステップS2100〜ステップS2108と同一であるので、説明を省略する。 The video search apparatus according to the eighth embodiment configured as described above will be described with reference to FIG. FIG. 28 is a flowchart for explaining the operation of the video search apparatus including the dynamic camera color correction apparatus according to the eighth embodiment of the present invention. Here, steps S2800 to S2808 in FIG. 28 are the same as steps S2100 to S2108 in FIG.
代表色算出部2034で生成された人物の代表色情報、テクスチャ情報は、人物マッチング部2743に送られる。また、検索人物DB2744には、あらかじめ特定の人物の代表色情報、テクスチャ情報が格納されている。 The representative color information and texture information of the person generated by the representative color calculation unit 2034 are sent to the person matching unit 2743. The search person DB 2744 stores representative color information and texture information of a specific person in advance.
人物マッチング部2743は、検索人物DB2744に格納されている代表色情報、テクスチャ情報を読み出す(S2809)。検索人物DB2744から読み出された代表色情報、テクスチャ情報と、代表色算出部2034から送られた代表色情報、テクスチャ情報とを比較し(S2810)、同一人物であるか判別する。比較方法は、例えば、前述のスコア算出(S2302参照)で述べたユークリッド距離でも良い。 The person matching unit 2743 reads the representative color information and texture information stored in the search person DB 2744 (S2809). The representative color information and texture information read from the search person DB 2744 are compared with the representative color information and texture information sent from the representative color calculation unit 2034 (S2810), and it is determined whether they are the same person. The comparison method may be, for example, the Euclidean distance described in the above-described score calculation (see S2302).
同一人物である場合(S2811:YES)、その人物の代表色情報、テクスチャ情報を生成した代表色算出部2034に対応したカメラ識別番号にモニタ表示するよう、映像切替部2745にカメラ切替命令を送信する(S2812)。切り替えられた撮像画像を、表示部2442で表示する(S2813)。同一人物でない場合(S2811:NO)、ステップS2800に戻る。 If they are the same person (S2811: YES), a camera switching command is transmitted to the video switching unit 2745 so that the camera identification number corresponding to the representative color calculation unit 2034 that generated the representative color information and texture information of the person is displayed on the monitor. (S2812). The switched captured image is displayed on the display unit 2442 (S2813). If they are not the same person (S2811: NO), the process returns to step S2800.
なお、監視装置2000は、動的なカメラ色補正装置100の代わりに、実施の形態2の動的なカメラ色補正装置700、実施の形態3の動的なカメラ色補正装置900、実施の形態4の動的なカメラ色補正装置1300、実施の形態5の動的なカメラ色補正装置1700を備えてもよい。 Note that the monitoring device 2000 replaces the dynamic camera color correction device 100 with the dynamic camera color correction device 700 according to the second embodiment, the dynamic camera color correction device 900 according to the third embodiment, and the embodiment. 4 dynamic camera color correction apparatuses 1300 and the dynamic camera color correction apparatus 1700 of the fifth embodiment may be provided.
また、動的なカメラ色補正装置100は、カメラ110内部に実装されてもよい。また、動領域抽出部2031、人判定部2032、領域分割部2033、代表色算出部2034は、カメラ110内部に実装されてもよい。 Further, the dynamic camera color correction apparatus 100 may be mounted inside the camera 110. Further, the moving region extraction unit 2031, the person determination unit 2032, the region division unit 2033, and the representative color calculation unit 2034 may be mounted inside the camera 110.
このような本発明の第7の実施の形態によれば、動的なカメラ色補正装置100で、動的に色補正を行い、人物マッチング部2743で、あらかじめ検索人物DB2744に格納された人物かどうか比較し、同一人物の場合、映像切替部2745で、カメラ切替をすることにより、カメラの個体差、日照の変動等の影響を受けることなく、所望の人物がカメラ間を移動してもモニタリングすることができる。 According to the seventh embodiment of the present invention, the dynamic camera color correction apparatus 100 performs color correction dynamically, and the person matching unit 2743 determines whether the person stored in the search person DB 2744 in advance. In the case of the same person, the video switching unit 2745 switches the camera so that monitoring is performed even if a desired person moves between cameras without being affected by individual differences in cameras, fluctuations in sunlight, etc. can do.
本発明は、カメラ設置環境、日照環境等といった撮像環境の変動に影響されることなく、画像の色を適切に補正できるという効果を有し、動的なカメラ色補正装置およびそれを用いた映像検索装置等に有用である。 The present invention has an effect of being able to appropriately correct the color of an image without being affected by fluctuations in an imaging environment such as a camera installation environment and a sunshine environment, and a dynamic camera color correction apparatus and an image using the same Useful for search devices.
100、700、1000、1300、1700 動的なカメラ間色補正装置
2000 監視装置
110 カメラ
120 色補正部
121、1321 背景抽出部
122、1322 背景確認部
123 色抽出部
124 参照テーブル
125 色比較部
126、726 色補完部
1027 更新タイミング判別部
1328、1329 バッファ
1730 背景変化確認部
2031 動領域抽出部
2032 人判別部
2033 領域分割部
2034 代表色算出部
2035 DB
2036、2436 人物検索部
2037 検索結果表示部
2038 キーボード・マウス
2439 圧縮部
2440 ストレージ
2441 展開部
2442 表示部
2743 人物マッチング部
2744 検索人物DB
2745 映像切替部
200 カラーチャートの一例
210 理論的なUV色空間
211 カラーチャートのUV値の一例
220 カメラ撮像後のUV色空間
221 カメラ撮像後のカラーチャートのUV値の一例
400 カメラ撮像後のカラーチャート画像
401 色補正処理ブロック
402 色補正後のカラーチャート画像
800、810 カメラ撮像後のUV色空間
801、811 カメラ撮像後の背景色のUV値の一例
100, 700, 1000, 1300, 1700 Dynamic inter-camera color correction device 2000 Monitoring device 110 Camera 120 Color correction unit 121, 1321 Background extraction unit 122, 1322 Background confirmation unit 123 Color extraction unit 124 Reference table 125 Color comparison unit 126 , 726 Color complementation unit 1027 Update timing discrimination unit 1328, 1329 Buffer 1730 Background change confirmation unit 2031 Moving region extraction unit 2032 Human discrimination unit 2033 Region division unit 2034 Representative color calculation unit 2035 DB
2036, 2436 Person search unit 2037 Search result display unit 2038 Keyboard / mouse 2439 Compression unit 2440 Storage 2441 Development unit 2442 Display unit 2743 Person matching unit 2744 Search person DB
2745 Video switching unit 200 Example of color chart 210 Theoretical UV color space 211 Example of color chart UV value 220 UV color space after camera imaging 221 Example of color chart UV value after camera imaging 400 Color after camera imaging Chart image 401 Color correction processing block 402 Color chart image after color correction 800, 810 UV color space after camera imaging 801, 811 Example of UV value of background color after camera imaging
Claims (14)
特定のカラーチャートから色補正パラメータを決定する色補完手段と、
前記色補正パラメータに基づいて、前記撮像手段が撮像した画像の色補正を行い色補正画像を出力する色補正手段と、
前記色補正画像から背景画像を抽出する背景抽出手段と、
前記背景画像が、背景か否かを確認する背景確認手段と、
前記確認された背景画像から色情報を抽出する色抽出手段と、
前記抽出された色情報が変化した場合に、前記色補正パラメータを変更させる色比較手段とを備える動的なカメラ色補正装置。 A camera color correction device that performs color correction of an image input from an imaging unit that images a monitoring area,
Color complementing means for determining color correction parameters from a specific color chart;
Color correction means for performing color correction of an image captured by the imaging means based on the color correction parameter and outputting a color correction image;
Background extraction means for extracting a background image from the color correction image;
Background confirmation means for confirming whether or not the background image is a background;
Color extraction means for extracting color information from the confirmed background image;
A dynamic camera color correction apparatus comprising: color comparison means for changing the color correction parameter when the extracted color information changes.
前記背景抽出手段は、前記第1のバッファに格納した画像から複数の背景画像群1を抽出し、
前記背景確認手段は、前記第2のバッファに格納した画像から複数の背景画像群2を抽出し、
前記色比較手段は、前記背景画像群1および背景画像群2の画素情報を検出し、前記背景画像群1および背景画像群2の画素情報の変化に基づいて前記色比較処理を行う請求項4記載の動的なカメラ色補正装置。 Comprising first and second buffers for storing images corrected by the color correcting means;
The background extraction means extracts a plurality of background image groups 1 from images stored in the first buffer,
The background confirmation unit extracts a plurality of background image groups 2 from the images stored in the second buffer,
5. The color comparison unit detects pixel information of the background image group 1 and the background image group 2, and performs the color comparison processing based on a change in pixel information of the background image group 1 and the background image group 2. The dynamic camera color correction device described.
前記背景確認手段は、前記第2のバッファに時系列的に格納された画像の画素毎にヒストグラムを生成して頻度の高い輝度を抽出する請求項6記載の動的なカメラ色補正装置。 The background extraction means generates a histogram for each pixel of the image stored in time series in the first buffer to extract a high-frequency luminance,
The dynamic camera color correction apparatus according to claim 6, wherein the background confirmation unit generates a histogram for each pixel of an image stored in the second buffer in time series to extract a high-frequency luminance.
前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、
前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、
前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、
前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、
前記代表色算出手段で抽出された色情報とテクスチャ情報とを蓄積するデータベースと、
前記データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出する人物検索手段と、
前記人物検索手段で算出されたスコアを表示する検索結果表示手段とを備える映像検索装置。 A dynamic camera color correction apparatus according to any one of claims 1 to 9,
A moving area extracting means for extracting a moving area in the image from the captured image corrected by the color correcting means;
Determining whether or not a person is included in the area extracted by the moving area extracting means, and extracting a person area from the area;
Area dividing means for dividing the person area extracted by the person determining means into blocks;
Representative color calculation means for extracting color information and texture information from each area divided into blocks by the area dividing means;
A database for storing color information and texture information extracted by the representative color calculation means;
A person search means for comparing the color information and texture information stored in the database with the color information and texture information of a person the user wants to search, and calculating a score;
A video search apparatus comprising search result display means for displaying the score calculated by the person search means.
前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、
前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、
前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、
前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、
前記代表色算出手段で抽出された色情報とテクスチャ情報とを蓄積するデータベースと、
前記データベース内に蓄積された色情報およびテクスチャ情報と、ユーザが検索したい人物の色情報およびテクスチャ情報とを比較し、スコアを算出し、特定のスコアの撮像画像を再生するよう再生命令を送信する人物検索手段と、
前記色補正手段で補正した撮像画像を所定の圧縮方式で圧縮する圧縮手段と、
前記圧縮手段で圧縮された撮像画像を格納するストレージと、
前記人物検索手段が送信した再生命令に基づき、前記ストレージに格納された前記圧縮手段で圧縮された撮像画像を読み出し、所定の伸張方式で伸張する展開手段と、
前記展開手段で展開された撮像画像を表示する表示手段とを備える映像検索装置。 A dynamic camera color correction apparatus according to any one of claims 1 to 9,
A moving area extracting means for extracting a moving area in the image from the captured image corrected by the color correcting means;
Determining whether or not a person is included in the area extracted by the moving area extracting means, and extracting a person area from the area;
Area dividing means for dividing the person area extracted by the person determining means into blocks;
Representative color calculation means for extracting color information and texture information from each area divided into blocks by the area dividing means;
A database for storing color information and texture information extracted by the representative color calculation means;
The color information and texture information stored in the database is compared with the color information and texture information of the person that the user wants to search, a score is calculated, and a reproduction command is transmitted to reproduce the captured image of a specific score. Person search means;
Compression means for compressing the captured image corrected by the color correction means by a predetermined compression method;
A storage for storing captured images compressed by the compression means;
An expansion unit that reads out a captured image compressed by the compression unit stored in the storage based on a reproduction command transmitted by the person search unit, and expands the image using a predetermined expansion method;
A video search apparatus comprising: display means for displaying the captured image developed by the expansion means.
請求項1ないし9のいづれか一項記載の動的なカメラ色補正装置と、
前記色補正手段で補正した撮像画像から画像内の動きのある領域を抽出する動領域抽出手段と、
前記動領域抽出手段で抽出された領域に人物が含まれるかどうか判別し、前記領域から人物領域を抽出する人判別手段と、
前記人判別手段で抽出された人物領域をブロック分割する領域分割手段と、
前記領域分割手段でブロック分割された各領域から、色情報とテクスチャ情報とを抽出する代表色算出手段と、
特定の人物の色情報とテクスチャ情報とが格納された検索人物データベースと、
前記検索人物データベースに格納された色情報およびテクスチャ情報と、前記代表色算出手段で算出された色情報およびテクスチャ情報とを比較し、同一人物のものである場合、前記代表色算出手段が検出した人物が撮像されている前記色補正手段で補正した撮像画像を表示するようカメラ切替命令を送信する人物マッチング手段と、
前記人物マッチング手段が送信したカメラ切替命令に基づき、前記色補正手段で補正した撮像画像を撮像するカメラに切り替える映像切替手段と、
前記映像切替手段で切り替えられた前記色補正手段で補正した撮像画像をモニタ表示する表示手段とを備える映像検索装置。 A video search device connected to a plurality of cameras,
A dynamic camera color correction apparatus according to any one of claims 1 to 9,
A moving area extracting means for extracting a moving area in the image from the captured image corrected by the color correcting means;
Determining whether or not a person is included in the area extracted by the moving area extracting means, and extracting a person area from the area;
Area dividing means for dividing the person area extracted by the person determining means into blocks;
Representative color calculation means for extracting color information and texture information from each area divided into blocks by the area dividing means;
A search person database storing color information and texture information of a specific person,
The color information and texture information stored in the search person database is compared with the color information and texture information calculated by the representative color calculation means, and the representative color calculation means detects that they are of the same person A person matching means for transmitting a camera switching command to display a captured image corrected by the color correction means in which a person is imaged;
Video switching means for switching to a camera that captures the captured image corrected by the color correction means based on the camera switching command transmitted by the person matching means;
A video search apparatus comprising: display means for monitoring and displaying a captured image corrected by the color correction means switched by the video switching means.
前記画像中の背景領域を抽出する手段と、
前記背景領域の色情報を抽出する手段と、
参照テーブル手段に格納されている、初期運用時における背景領域の色情報と、抽出した色情報とを比較する手段と、
比較結果に基づいて、前記色補正パラメータを変更する手段と、
を備える色補正装置。 A color correction apparatus that performs color correction of an image input from an imaging unit that images a monitoring area based on a color correction parameter,
Means for extracting a background region in the image;
Means for extracting color information of the background region;
Means for comparing the color information of the background area stored in the reference table means at the time of initial operation with the extracted color information;
Means for changing the color correction parameter based on a comparison result;
A color correction apparatus comprising:
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006002625A JP4708192B2 (en) | 2006-01-10 | 2006-01-10 | Dynamic camera color correction device and video search device using the same |
US12/160,151 US8018494B2 (en) | 2006-01-10 | 2007-01-05 | Color correction device, color correction method, dynamic camera color correction device, and video search device using the same |
CN2011100348321A CN102164238B (en) | 2006-01-10 | 2007-01-05 | Color correction device, dynamic camera color correction device, and video search device using the same |
PCT/JP2007/050041 WO2007080834A1 (en) | 2006-01-10 | 2007-01-05 | Color correction device, color correction method, dynamic camera color correction device, and video search device using the same |
CN2007800022102A CN101371271B (en) | 2006-01-10 | 2007-01-05 | Color correction processing device |
CN201110035075XA CN102164287B (en) | 2006-01-10 | 2007-01-05 | Color correction processing device and color correction processing method |
EP10195138A EP2296104A1 (en) | 2006-01-10 | 2007-01-05 | Dynamic camera color correction device, and video search device using the same |
EP07706388A EP1973074A4 (en) | 2006-01-10 | 2007-01-05 | COLOR CORRECTION DEVICE AND METHOD, DYNAMIC CAMERA COLOR CORRECTION DEVICE, AND VIDEO SEARCH DEVICE USING THE SAME |
US13/182,680 US8698913B2 (en) | 2006-01-10 | 2011-07-14 | Color correction device, color correction method, dynamic camera color correction device, and video search device using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006002625A JP4708192B2 (en) | 2006-01-10 | 2006-01-10 | Dynamic camera color correction device and video search device using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007183872A JP2007183872A (en) | 2007-07-19 |
JP4708192B2 true JP4708192B2 (en) | 2011-06-22 |
Family
ID=38339897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006002625A Expired - Fee Related JP4708192B2 (en) | 2006-01-10 | 2006-01-10 | Dynamic camera color correction device and video search device using the same |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4708192B2 (en) |
CN (1) | CN101371271B (en) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101595254B1 (en) * | 2009-02-20 | 2016-02-18 | 삼성전자주식회사 | Method for controlling white balance of an image medium of recording the method and apparatus applying the method |
KR101590918B1 (en) * | 2009-06-19 | 2016-02-02 | 엘지전자 주식회사 | A method for performing functions of a mobile terminal and a mobile terminal |
EP2549759B1 (en) * | 2011-07-19 | 2016-01-13 | Axis AB | Method and system for facilitating color balance synchronization between a plurality of video cameras as well as method and system for obtaining object tracking between two or more video cameras |
JP2015092301A (en) * | 2012-01-30 | 2015-05-14 | 日本電気株式会社 | Image processing apparatus and image processing method of the same, and computer program and image processing system |
CN102750517B (en) * | 2012-05-22 | 2014-04-30 | 山东神思电子技术股份有限公司 | Skin color evaluating method of certificate digital photo |
JP5843751B2 (en) * | 2012-12-27 | 2016-01-13 | 株式会社ソニー・コンピュータエンタテインメント | Information processing apparatus, information processing system, and information processing method |
CN104378612B (en) * | 2013-08-12 | 2017-09-29 | 联想(北京)有限公司 | A kind of method and electronic equipment for adjusting color balance |
EP3105920B1 (en) * | 2014-02-11 | 2020-07-22 | Robert Bosch GmbH | Brightness and color matching video from multiple-camera system |
JP6501257B2 (en) * | 2015-05-18 | 2019-04-17 | シャープ株式会社 | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM |
JP6565513B2 (en) * | 2015-09-09 | 2019-08-28 | 富士通株式会社 | Color correction device, color correction method, and computer program for color correction |
JP6525921B2 (en) * | 2016-05-13 | 2019-06-05 | キヤノン株式会社 | Image processing apparatus, image processing method, search apparatus |
CN107071371B (en) * | 2017-02-25 | 2018-12-18 | 广东弘景光电科技股份有限公司 | The camera lens colour brightness calibration method and device of panoramic shooting mould group |
JP7085812B2 (en) * | 2017-08-02 | 2022-06-17 | キヤノン株式会社 | Image processing device and its control method |
CN111034185B (en) * | 2017-08-23 | 2021-07-27 | 索尼公司 | Video processing device, video processing method, program, and remote communication system |
CN110006087B (en) * | 2018-06-07 | 2021-04-13 | 安徽新大陆特种涂料有限责任公司 | Infrared reflection type warmer |
JP7234086B2 (en) * | 2019-10-04 | 2023-03-07 | 株式会社日立製作所 | Biometric information acquisition device and program |
JP7455656B2 (en) * | 2020-05-18 | 2024-03-26 | キヤノン株式会社 | Image processing device, image processing method, and program |
CN114051299B (en) * | 2021-10-25 | 2024-04-12 | 华人运通(上海)云计算科技有限公司 | Control method and device of vehicle-mounted atmosphere lamp, storage medium and vehicle |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000285224A (en) * | 1999-03-30 | 2000-10-13 | Matsushita Electric Ind Co Ltd | On-vehicle picture storage device and on-vehicle picture recognition device |
JP2001309356A (en) * | 2000-04-27 | 2001-11-02 | Ntt Communications Kk | Method and device for browsing remote place situation |
JP2002259968A (en) * | 2001-03-01 | 2002-09-13 | Matsushita Electric Ind Co Ltd | Color extracting method and color extracting device |
JP2004178272A (en) * | 2002-11-27 | 2004-06-24 | Matsushita Electric Ind Co Ltd | Image processing apparatus and image processing method |
JP2004213572A (en) * | 2003-01-08 | 2004-07-29 | Nippon Telegr & Teleph Corp <Ntt> | Object extraction apparatus, object extraction method, program and recording medium |
JP2004260305A (en) * | 2003-02-24 | 2004-09-16 | Fuji Photo Film Co Ltd | Photographing system |
JP2005030801A (en) * | 2003-07-08 | 2005-02-03 | Dainippon Printing Co Ltd | Color tone monitoring device and color distribution extracting device or like |
JP2007164737A (en) * | 2005-12-16 | 2007-06-28 | Mitsubishi Heavy Ind Ltd | Color-identifying method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2385173A1 (en) * | 1999-09-17 | 2001-03-29 | Nature Technology Co., Ltd. | Image capturing system, image processing system, and camera |
CN1622135A (en) * | 2004-12-13 | 2005-06-01 | 中国科学院长春光学精密机械与物理研究所 | Digital image color correction method |
-
2006
- 2006-01-10 JP JP2006002625A patent/JP4708192B2/en not_active Expired - Fee Related
-
2007
- 2007-01-05 CN CN2007800022102A patent/CN101371271B/en not_active Expired - Fee Related
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000285224A (en) * | 1999-03-30 | 2000-10-13 | Matsushita Electric Ind Co Ltd | On-vehicle picture storage device and on-vehicle picture recognition device |
JP2001309356A (en) * | 2000-04-27 | 2001-11-02 | Ntt Communications Kk | Method and device for browsing remote place situation |
JP2002259968A (en) * | 2001-03-01 | 2002-09-13 | Matsushita Electric Ind Co Ltd | Color extracting method and color extracting device |
JP2004178272A (en) * | 2002-11-27 | 2004-06-24 | Matsushita Electric Ind Co Ltd | Image processing apparatus and image processing method |
JP2004213572A (en) * | 2003-01-08 | 2004-07-29 | Nippon Telegr & Teleph Corp <Ntt> | Object extraction apparatus, object extraction method, program and recording medium |
JP2004260305A (en) * | 2003-02-24 | 2004-09-16 | Fuji Photo Film Co Ltd | Photographing system |
JP2005030801A (en) * | 2003-07-08 | 2005-02-03 | Dainippon Printing Co Ltd | Color tone monitoring device and color distribution extracting device or like |
JP2007164737A (en) * | 2005-12-16 | 2007-06-28 | Mitsubishi Heavy Ind Ltd | Color-identifying method |
Also Published As
Publication number | Publication date |
---|---|
CN101371271B (en) | 2011-12-21 |
CN101371271A (en) | 2009-02-18 |
JP2007183872A (en) | 2007-07-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4708192B2 (en) | Dynamic camera color correction device and video search device using the same | |
CN102164238B (en) | Color correction device, dynamic camera color correction device, and video search device using the same | |
KR101985880B1 (en) | Display device and control method thereof | |
CN111491149B (en) | Real-time image matting method, device, equipment and storage medium based on high-definition video | |
CN115314617A (en) | Image processing system and method, computer readable medium, and electronic device | |
JP4386959B1 (en) | Image processing device | |
US8478028B2 (en) | Method and system for converting at least one first-spectrum image into a second-spectrum image | |
WO2016038886A1 (en) | Imaging device, image processing device, and imaging method | |
CN102088539A (en) | Method and system for evaluating pre-shot picture quality | |
KR20070090224A (en) | How to Process Electronic Color Image Saturation | |
KR100350789B1 (en) | Method of raw color adjustment and atmosphere color auto extract in a image reference system | |
Qian et al. | Fast color contrast enhancement method for color night vision | |
CN104954627A (en) | Information processing method and electronic equipment | |
CN114125319A (en) | Image sensor, camera module, image processing method and device and electronic equipment | |
US12143731B1 (en) | Highlight recovery for image sensors | |
US10021310B2 (en) | Characteristic image display apparatus | |
CN116309224A (en) | Image fusion method, device, terminal and computer readable storage medium | |
CN105321153A (en) | Video monitor low-illumination image color restoration method and device | |
JP6780749B2 (en) | Imaging equipment, image processing equipment, imaging methods and programs | |
CN108765502B (en) | A Color Appearance Acquisition Method in a Complex Environment | |
JP2009239772A (en) | Imaging device, image processing device, image processing method, and program | |
CN114782261B (en) | Image processing method and device, electronic equipment and readable storage medium | |
US11968444B2 (en) | Control apparatus applied to image pickup system, control method therefor, and storage medium storing control program therefor | |
KR20020067285A (en) | Method for background setup in object-based compression moving-image | |
CN118505739A (en) | Image processing method, device and image processing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071113 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080312 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110316 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4708192 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |