JP2022003526A

JP2022003526A - Information processor, detection system, method for processing information, and program

Info

Publication number: JP2022003526A
Application number: JP2021135720A
Authority: JP
Inventors: 千聡大川; Chisato Okawa; 良彰廣谷; Yoshiaki Hiroya
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2017-02-27
Filing date: 2021-08-23
Publication date: 2022-01-11
Also published as: JP7120590B2; WO2018155594A1; JP2018142137A

Abstract

To provide an information processor, a detection system, a method for processing information, and a program that can automatically specify suspicious persons on the basis of feature information other than face images of suspicious persons.SOLUTION: An information processor 10 includes: an input reception unit 11 for receiving input of feature information showing at least appearance features of a specific target person; a first determination unit 12 for determining a matching degree of the appearance features of the person included in the feature information and an appearance feature of a person in an image; and a second determination unit 13 for determining whether there is a match between the feature information and the person in the image on the basis of a result of the determination of the appearance feature of the person.SELECTED DRAWING: Figure 1

Description

本発明は、不審人物等に関する顔画像以外の特徴情報に基づいて不審人物等を自動的に特定するための、情報処理装置、及び情報処理方法に関し、更には、これらを実現するためのプログラムに関する。 The present invention relates to an information processing device and an information processing method for automatically identifying a suspicious person or the like based on feature information other than a facial image of the suspicious person or the like, and further relates to a program for realizing these. ..

従来、監視カメラを用いた監視システムにおいては、監視員は、監視カメラで撮影された映像から、目視によって、不審人物等を特定する必要がある。しかし、目視による特定には、労力が大きいという問題、映像に複数の人物が写っている場合に対応が難しいという問題がある。 Conventionally, in a surveillance system using a surveillance camera, an observer needs to visually identify a suspicious person or the like from an image taken by the surveillance camera. However, visual identification has the problem that it requires a lot of labor and it is difficult to deal with the case where a plurality of people are shown in the image.

これに対して、特許文献１は、人物特定を自動で行なう機能を備えた監視装置を開示している。具体的には、特許文献１に開示された監視装置は、監視カメラから送られてきた映像から、人物の顔画像を抽出し、抽出した顔画像とデータベースに登録されている人物の顔画像とを照合することによって、自動的に不審人物等を特定する。 On the other hand, Patent Document 1 discloses a monitoring device having a function of automatically identifying a person. Specifically, the surveillance device disclosed in Patent Document 1 extracts a face image of a person from an image sent from a surveillance camera, and includes the extracted face image and the face image of the person registered in the database. By collating, the suspicious person etc. is automatically identified.

また、データベースに登録されている人物の顔画像は、通常、正面からの顔画像であるため、監視カメラから送られてきた映像から抽出された人物の顔画像が、正面からの顔画像でない場合は、照合精度が低下してしまう。この場合においては、特許文献１に開示された監視装置は、データベースに登録されている人物の顔画像と、抽出された人物の顔画像との両方を画面に表示して、監視員による判断を支援している。 In addition, since the face image of the person registered in the database is usually a face image from the front, the face image of the person extracted from the video sent from the surveillance camera is not the face image from the front. Will reduce the collation accuracy. In this case, the monitoring device disclosed in Patent Document 1 displays both the face image of the person registered in the database and the face image of the extracted person on the screen, and makes a judgment by the observer. I'm supporting you.

特開２０１０−２３１４０２号公報Japanese Unexamined Patent Publication No. 2010-231402

しかしながら、上記特許文献１に開示された監視装置では、自動的に人物を特定する場合であっても、監視員による判断を支援する場合であっても、予め、データベースに登録された顔画像に基づいて不審人物等を特定している。このため、不審人物等に関する顔画像以外の特徴情報、例えば、３０代、男性、中肉中背といった情報を用いて不審人物等を特定する場合には、結局のところ監視員が目視で行なう必要がある。 However, in the monitoring device disclosed in Patent Document 1, regardless of whether the person is automatically identified or the judgment by the observer is assisted, the face image registered in the database in advance is used. A suspicious person, etc. is identified based on this. For this reason, when identifying a suspicious person or the like using feature information other than a facial image of the suspicious person or the like, for example, information such as a person in his thirties, a man, or a medium-sized back, it is necessary for an observer to visually identify the suspicious person. There is.

本発明の目的の一例は、上記問題を解消し、不審人物等に関する顔画像以外の特徴情報に基づいて不審人物等を自動的に特定することができる、情報処理装置、情報処理方法、及びプログラムを提供することにある。 An example of an object of the present invention is an information processing device, an information processing method, and a program capable of solving the above-mentioned problems and automatically identifying a suspicious person or the like based on feature information other than a facial image of the suspicious person or the like. Is to provide.

上記目的を達成するため、本発明の一側面における監視装置は、
特定対象となる人物の特徴を示す顔画像以外の特徴情報の入力を受け付ける、入力受付部と、
前記特徴情報に含まれる前記人物の特徴毎に、当該特徴と、画像に写っている人物の特徴との一致度合を判定する、第１判定部と、
前記人物の特徴毎の判定結果に基づいて、前記特徴情報と前記画像に写っている人物とが一致しているかどうかを判定する、第２判定部と、
を備えている、ことを特徴とする。 In order to achieve the above object, the monitoring device in one aspect of the present invention is
An input reception unit that accepts input of characteristic information other than facial images showing the characteristics of a specific target person,
For each feature of the person included in the feature information, a first determination unit for determining the degree of matching between the feature and the feature of the person shown in the image.
A second determination unit that determines whether or not the feature information matches the person in the image based on the determination result for each feature of the person.
It is characterized by having.

また、上記目的を達成するため、本発明の一側面における監視方法は、
（ａ）特定対象となる人物の特徴を示す顔画像以外の特徴情報の入力を受け付ける、ステップと、
（ｂ）前記特徴情報に含まれる前記人物の特徴毎に、当該特徴と、画像に写っている人物の特徴との一致度合を判定する、ステップと、
（ｃ）前記人物の特徴毎の判定結果に基づいて、前記特徴情報と前記画像に写っている人物とが一致しているかどうかを判定する、ステップと、
を有する、ことを特徴とする。 Further, in order to achieve the above object, the monitoring method in one aspect of the present invention is:
(A) A step that accepts input of characteristic information other than a facial image showing the characteristics of a person to be specified, and
(B) For each feature of the person included in the feature information, a step of determining the degree of matching between the feature and the feature of the person shown in the image, and
(C) A step of determining whether or not the characteristic information and the person shown in the image match, based on the determination result for each characteristic of the person.
It is characterized by having.

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
（ａ）特定対象となる人物の特徴を示す顔画像以外の特徴情報の入力を受け付ける、ステップと、
（ｂ）前記特徴情報に含まれる前記人物の特徴毎に、当該特徴と、画像に写っている人物の特徴との一致度合を判定する、ステップと、
（ｃ）前記人物の特徴毎の判定結果に基づいて、前記特徴情報と前記画像に写っている人物とが一致しているかどうかを判定する、ステップと、
を実行させることを特徴とする。 Further, in order to achieve the above object, the program in one aspect of the present invention is:
On the computer
(A) A step that accepts input of characteristic information other than a facial image showing the characteristics of a person to be specified, and
(B) For each feature of the person included in the feature information, a step of determining the degree of matching between the feature and the feature of the person shown in the image, and
(C) A step of determining whether or not the characteristic information and the person shown in the image match, based on the determination result for each characteristic of the person.
Is characterized by executing.

以上のように、本発明によれば、不審人物等に関する顔画像以外の特徴情報に基づいて不審人物等を自動的に特定することができる。 As described above, according to the present invention, the suspicious person or the like can be automatically identified based on the feature information other than the facial image regarding the suspicious person or the like.

図１は、本発明の実施の形態における情報処理装置の概略構成を示すブロック図である。FIG. 1 is a block diagram showing a schematic configuration of an information processing apparatus according to an embodiment of the present invention. 図２は、本発明の実施の形態における情報処理装置の具体的構成を示すブロック図である。FIG. 2 is a block diagram showing a specific configuration of the information processing apparatus according to the embodiment of the present invention. 図３は、本発明の実施の形態で用いられる特徴情報の一例と第１判定部及び第２判定部の処理とを説明する図である。FIG. 3 is a diagram illustrating an example of feature information used in the embodiment of the present invention and processing of the first determination unit and the second determination unit. 図４は、本発明の実施の形態における情報処理装置の動作を示すフロー図である。FIG. 4 is a flow chart showing the operation of the information processing apparatus according to the embodiment of the present invention. 図５は、本発明の実施の形態における変形例での第１判定部及び第２判定部の処理を説明する図である。FIG. 5 is a diagram illustrating the processing of the first determination unit and the second determination unit in the modified example of the embodiment of the present invention. 図６は、本実施の形態における検出装置によって構成された人物検出システムの一例を示す図である。FIG. 6 is a diagram showing an example of a person detection system configured by the detection device according to the present embodiment. 図７は、本発明の実施の形態における情報処理装置を実現するコンピュータの一例を示すブロック図である。FIG. 7 is a block diagram showing an example of a computer that realizes the information processing apparatus according to the embodiment of the present invention.

（実施の形態）
以下、本発明の実施の形態における情報処理装置、情報処理方法、及びプログラムについて、図１〜図７を参照しながら説明する。 (Embodiment)
Hereinafter, the information processing apparatus, the information processing method, and the program according to the embodiment of the present invention will be described with reference to FIGS. 1 to 7.

［装置構成］
最初に、本実施の形態における情報処理装置の概略構成について説明する。図１は、本発明の実施の形態における情報処理装置の概略構成を示すブロック図である。 [Device configuration]
First, a schematic configuration of the information processing apparatus according to the present embodiment will be described. FIG. 1 is a block diagram showing a schematic configuration of an information processing apparatus according to an embodiment of the present invention.

図１に示す、本実施の形態における情報処理装置１０は、特定の人物を検出する際の情報処理を行なうための装置である。図１に示すように、情報処理装置１０は、入力受付部１１と、第１判定部１２と、第２判定部１３とを備えている。 The information processing device 10 according to the present embodiment shown in FIG. 1 is a device for performing information processing when detecting a specific person. As shown in FIG. 1, the information processing apparatus 10 includes an input receiving unit 11, a first determination unit 12, and a second determination unit 13.

入力受付部１１は、特定対象となる人物の特徴を示す顔画像以外の特徴情報の入力を受付ける。第１判定部１２は、特徴情報に含まれる人物の特徴毎に、各特徴と、画像に写っている人物の特徴との一致度合を判定する。第２判定部１３は、人物の特徴毎の判定結果に基づいて、特徴情報と画像に写っている人物とが一致しているかどうかを判定する。 The input receiving unit 11 accepts input of characteristic information other than a facial image showing the characteristics of the person to be specified. The first determination unit 12 determines the degree of matching between each feature and the feature of the person shown in the image for each feature of the person included in the feature information. The second determination unit 13 determines whether or not the feature information and the person in the image match, based on the determination result for each feature of the person.

このように、本実施の形態では、例えば、特定対象となる人物の年齢、体系、性別等といった顔以外の特徴と、画像に写っている特徴との一致度合が判定され、その判定結果に基づいて、画像の人物が特定対象となる人物であるかどうかが最終的に判定される。このため、本実施の形態によれば、不審人物等に関する顔画像以外の特徴情報に基づいて、不審人物等を自動的に特定することが可能となる。 As described above, in the present embodiment, for example, the degree of matching between the features other than the face such as the age, system, gender, etc. of the specific target person and the features shown in the image is determined, and based on the determination result. Finally, it is determined whether or not the person in the image is the person to be specified. Therefore, according to the present embodiment, it is possible to automatically identify the suspicious person or the like based on the feature information other than the facial image regarding the suspicious person or the like.

続いて、図２及び図３を用いて、本実施の形態における情報処理装置の構成について具体的に説明する。図２は、本発明の実施の形態における情報処理装置の具体的構成を示すブロック図である。図３は、本発明の実施の形態で用いられる特徴情報の一例と第１判定部及び第２判定部の処理とを説明する図である。 Subsequently, the configuration of the information processing apparatus according to the present embodiment will be specifically described with reference to FIGS. 2 and 3. FIG. 2 is a block diagram showing a specific configuration of the information processing apparatus according to the embodiment of the present invention. FIG. 3 is a diagram illustrating an example of feature information used in the embodiment of the present invention and processing of the first determination unit and the second determination unit.

図２に示すように、本実施の形態では、情報処理装置１０は、撮像装置２０と共に、特定対象となる人物を検出する検出装置１００を構成している。撮像装置２０は、撮影によって得られた画像の画像データを、設定された間隔で出力する。撮像装置２０の具体例としては、監視カメラが挙げられる。 As shown in FIG. 2, in the present embodiment, the information processing device 10 and the image pickup device 20 constitute a detection device 100 for detecting a person to be specified. The image pickup apparatus 20 outputs the image data of the image obtained by shooting at a set interval. A surveillance camera is mentioned as a specific example of the image pickup apparatus 20.

また、図２に示すように、情報処理装置１０は、入力受付部１１、第１判定部１２、及び第２判定部１３に加えて、解釈部１４と、出力部１５とを備えている。 Further, as shown in FIG. 2, the information processing apparatus 10 includes an interpretation unit 14 and an output unit 15 in addition to the input reception unit 11, the first determination unit 12, and the second determination unit 13.

本実施の形態では、特徴情報としては、例えば、図３に示すように、特定対象となる人物における、年齢、性別、体格、行動、物体等の特徴をテキストで表したテキスト情報が挙げられる。なお、ここでいう物体には、人物が身に付けている物、及び人物が携えている物が含まれる。図３の例では、特徴情報は、「２０代又は３０代、男性、中肉中背、走っている、帽子を身につけず、ナイフを携えている」を含んだテキスト情報である。 In the present embodiment, as the characteristic information, for example, as shown in FIG. 3, text information expressing the characteristics such as age, gender, physique, behavior, and object of the specific target person can be mentioned. The object referred to here includes an object worn by a person and an object carried by the person. In the example of FIG. 3, the feature information is text information including "a man in his twenties or thirties, a man with a medium back, running, not wearing a hat, and carrying a knife".

入力受付部１１は、キーボード等の入力機器、又は検出装置１００に接続された端末装置等を介して、検出装置１００の管理者が、特徴を入力すると、入力された特徴を含む特徴情報を受け付ける。 When the administrator of the detection device 100 inputs a feature via an input device such as a keyboard or a terminal device connected to the detection device 100, the input reception unit 11 receives feature information including the input feature. ..

また、入力受付部１１は、予め設定されている人物の特徴の中から、管理者が幾つかの特徴のみを指定した場合は、指定された特徴を含む特徴情報の入力のみを受け付けることができる。例えば、入力受付部１１は、表示装置の画面、又は検出装置１００に接続された端末装置等の画面に、特徴を表す種々のアイコンを表示させることができる。この場合、管理者が幾つかのアイコンを指定すると、入力受付部１１は、指定されたアイコンに関連付けられた識別子またはテキストを特徴情報として受け付ける。 Further, when the administrator specifies only some features from the preset characteristics of the person, the input receiving unit 11 can accept only the input of the feature information including the designated features. .. For example, the input receiving unit 11 can display various icons representing features on the screen of the display device or the screen of the terminal device connected to the detection device 100. In this case, when the administrator specifies some icons, the input receiving unit 11 accepts the identifier or text associated with the designated icon as feature information.

解釈部１４は、入力受付部１１によって特徴情報が受け付けられると、特徴情報に含まれる特徴を取り出し、取り出した特徴を、第１判定部１２に渡す。 When the feature information is received by the input reception unit 11, the interpretation unit 14 extracts the feature included in the feature information and passes the extracted feature to the first determination unit 12.

具体的には、図３の例では、解釈部１４は、特徴情報から、特徴として、「２０代又は３０代」、「男性」、「中肉中背」、「走っている」、「帽子を身につけず、ナイフを携えている」を取り出し、取り出したこれらの特徴を第１判定部１２に通知する。 Specifically, in the example of FIG. 3, the interpretation unit 14 is characterized by "20's or 30's", "male", "meat medium back", "running", and "hat" from the characteristic information. "I am carrying a knife without wearing a hat" is taken out, and these characteristics taken out are notified to the first determination unit 12.

第１判定部１２は、本実施の形態では、特徴毎に、複数の特徴判別器１６を備えている。具体的には、図３に示すように、各特徴判別器１６は、年齢、性別、体格、行動、物体のいずれかに対応している。図３の例では、各特徴判別器１６は、「年齢判別器」、「性別判別器」、「体格判別器」、「行動判別器」、「物体判別器」と表記されている。 In the present embodiment, the first determination unit 12 includes a plurality of feature discriminators 16 for each feature. Specifically, as shown in FIG. 3, each feature discriminator 16 corresponds to any of age, gender, physique, behavior, and object. In the example of FIG. 3, each feature discriminator 16 is described as an "age discriminator", a "gender discriminator", a "physical figure discriminator", a "behavior discriminator", and an "object discriminator".

また、本実施の形態において、特徴判別器の種類は図３に限定されるものではない。更に、第１判定部１２は、解釈部１４から特徴が通知されると、通知された特徴に合わせて、予め保持している特徴判別器１６の中から、必要となる特徴判別器１６を選出することもできる。 Further, in the present embodiment, the type of the feature discriminator is not limited to FIG. Further, when the feature is notified from the interpretation unit 14, the first determination unit 12 selects a necessary feature discriminator 16 from the feature discriminators 16 held in advance according to the notified feature. You can also do it.

各特徴判別器１６は、それが対応する特徴と、撮像装置２０からの画像データで特定される画像中の人物の特徴とが、一致及び非一致のいずれであるかを判定する。また、各特徴判別器１６は、対応する特徴と画像中の人物の特徴とが一致している確率を算出し、算出された確率が閾値以上となる場合に、一致していると判定しても良い。具体的には、各特徴判別器１６は、下記のようにして判定を行なう。 Each feature discriminator 16 determines whether the feature corresponding to the feature and the feature of the person in the image identified by the image data from the image pickup apparatus 20 match or do not match. Further, each feature discriminator 16 calculates the probability that the corresponding feature matches the feature of the person in the image, and if the calculated probability is equal to or greater than the threshold value, determines that the features match. Is also good. Specifically, each feature discriminator 16 makes a determination as follows.

年齢判別器は、例として、機械学習の１つであるディープラーニングを用いて、画像中の人物の年齢を判別する。具体的には、年齢判別器は、予め畳み込み層と全結合層とを有する畳み込みニューラルネットワーク（Convolutional Neural Network）を学習する。そして、年齢判別器は、予め学習した畳み込みニューラルネットワークの各畳み込み層によって、画像から特徴量を抽出する。そして、年齢判別器は、全結合層によって、抽出された特徴量に対して年齢についての重み計算を行ない、得られた計算値に基づいて年齢を判別する。 As an example, the age discriminator discriminates the age of a person in an image by using deep learning, which is one of machine learning. Specifically, the age discriminator learns a convolutional neural network having a convolutional layer and a fully connected layer in advance. Then, the age discriminator extracts the feature amount from the image by each convolutional layer of the convolutional neural network learned in advance. Then, the age discriminator performs weight calculation on the extracted feature amount by the fully connected layer, and discriminates the age based on the obtained calculated value.

また、性別判別器も、例としてディープラーニングを用いて、画像中の人物の性別を判別する。具体的には、性別判別器も、予め学習した畳み込みニューラルネットワークの各畳み込み層によって、画像から特徴量を抽出する。但し、性別判別器は、全結合層によって、抽出された特徴量に対して性別についての重み計算を行ない、得られた計算値に基づいて性別を判別する。 The gender discriminator also uses deep learning as an example to discriminate the gender of a person in an image. Specifically, the gender discriminator also extracts the feature amount from the image by each convolutional layer of the convolutional neural network learned in advance. However, the gender discriminator performs weight calculation on the extracted feature amount by the fully connected layer, and discriminates the gender based on the obtained calculated value.

物体判別器も、例としてディープラーニングを用いて、人物が身に付けている物及び携えている物を判定する。具体的には、物体判別器も、予め畳み込み層と全結合層とを有する畳み込みネットワークを学習する。そして、物体判別器は、学習した畳み込みニューラルネットワークの各畳み込み層によって、画像から特徴量を抽出する。そして、物体判別器は、全結合層によって、抽出した特徴量に対して物体についての重み計算を行ない、得られた計算値に基づいて、画像に写っている物体の種類を判別する。 The object discriminator also uses deep learning as an example to determine what a person is wearing and what he or she is carrying. Specifically, the object discriminator also learns a convolutional network having a convolutional layer and a fully connected layer in advance. Then, the object discriminator extracts the feature amount from the image by each convolutional layer of the learned convolutional neural network. Then, the object discriminator calculates the weight of the object with respect to the extracted feature amount by the fully connected layer, and discriminates the type of the object shown in the image based on the obtained calculated value.

行動判別器も、例としてディープラーニングを用いて、画像中の人物の行動を判定する。但し、行動判別器は、上述の判別器と異なり、予め学習したRegion Convolution Neural Networkによって、画像に写っている人物とその周辺とを検出する。次に、行動判別器は、予め学習した再帰型ニューラルネットワーク（Recurrent Neural Network）によって、検出された人物及び周辺が、特徴情報の行動を示す文字表現に該当するかどうか判定する。 The behavior discriminator also uses deep learning as an example to determine the behavior of a person in an image. However, unlike the above-mentioned discriminator, the behavior discriminator detects the person in the image and its surroundings by the Region Convolution Neural Network learned in advance. Next, the behavior discriminator determines whether or not the detected person and the surroundings correspond to the character expression indicating the behavior of the characteristic information by the recurrent neural network learned in advance.

体格判別器は、例として、人物の頭、首、肩、腹、足等の幅を画像から抽出し、それぞれの長さと、予め設定された体型のパターン（やせ型、中肉中背型、肥満型等）とを比較し、比較結果に基づいて、人物の体型を判別する。 As an example, the physique discriminator extracts the width of a person's head, neck, shoulders, abdomen, legs, etc. from an image, and each length and a preset body shape pattern (thin type, medium-sized medium-back type, etc.) Compare with obese type etc.) and determine the body shape of the person based on the comparison result.

第２判定部１３は、本実施の形態では、人物の特徴毎の判定において、一致していると判定された判定結果が所定数以上である場合、又は一致していると判定された判定結果の割合が所定割合以上である場合に、特徴情報と画像に写っている人物とが一致していると判定する。 In the present embodiment, the second determination unit 13 determines that the number of determination results determined to match is equal to or greater than a predetermined number in the determination for each characteristic of the person, or the determination result is determined to match. When the ratio of is equal to or more than a predetermined ratio, it is determined that the feature information and the person in the image match.

具体的には、図３の例では、第２判定部１３は、論理加算を行ない、年齢判別器、性別判別器、体格判別器、行動判別器、及び物体判別器の全てにおいて一致していると判定された場合に、特徴情報と画像に写っている人物とが一致していると判定する。また、第２判定部１３による判定が終了すると、出力部１５が、判定結果を出力する。出力先としては、検出装置１００の表示装置、検出装置１００の管理者の端末装置等が挙げられる。 Specifically, in the example of FIG. 3, the second determination unit 13 performs logical addition, and all of the age discriminator, the gender discriminator, the physique discriminator, the behavior discriminator, and the object discriminator match. When it is determined that, it is determined that the feature information and the person in the image match. Further, when the determination by the second determination unit 13 is completed, the output unit 15 outputs the determination result. Examples of the output destination include a display device of the detection device 100, a terminal device of the administrator of the detection device 100, and the like.

［装置動作］
次に、本実施の形態における情報処理装置１０の動作について図４を用いて説明する。図４は、本発明の実施の形態における情報処理装置の動作を示すフロー図である。以下の説明においては、適宜図１〜図３を参酌する。また、本実施の形態では、情報処理装置１０を動作させることによって、情報処理方法が実施される。よって、本実施の形態における情報処理方法の説明は、以下の情報処理装置１０の動作説明に代える。 [Device operation]
Next, the operation of the information processing apparatus 10 in the present embodiment will be described with reference to FIG. FIG. 4 is a flow chart showing the operation of the information processing apparatus according to the embodiment of the present invention. In the following description, FIGS. 1 to 3 will be referred to as appropriate. Further, in the present embodiment, the information processing method is implemented by operating the information processing apparatus 10. Therefore, the description of the information processing method in the present embodiment is replaced with the following description of the operation of the information processing device 10.

図４に示すように、最初に、検出装置１００の管理者によって、検出装置１００において、特定対象となる人物の特徴が入力されると、入力受付部１１は、入力された特徴を含む特徴情報の入力を受け付ける（ステップＡ１）。また、入力受付部１１は、受け付けた特徴情報を解釈部１４に渡す。 As shown in FIG. 4, when the administrator of the detection device 100 first inputs the characteristics of the person to be specified in the detection device 100, the input receiving unit 11 inputs the characteristics information including the input characteristics. (Step A1). Further, the input reception unit 11 passes the received feature information to the interpretation unit 14.

次に、解釈部１４は、渡された特徴情報から、それに含まれる各特徴を取り出し、取り出した特徴を第１判定部１２に渡す（ステップＡ２）。 Next, the interpretation unit 14 extracts each feature included in the passed feature information and passes the extracted feature to the first determination unit 12 (step A2).

次に、第１判定部１２は、撮像装置２０から画像データを取得し、ステップＡ２で渡された特徴毎に、その特徴と、画像データの画像に写っている人物の特徴との一致度合を判定する（ステップＡ３）。具体的には、第１判定部１２は、各特徴に対応する特徴判別器１６を選出し、選出した各特徴判別器１６に、対応する特徴と画像の人物の特徴との一致判定を行なわせる。 Next, the first determination unit 12 acquires image data from the image pickup apparatus 20, and for each feature passed in step A2, determines the degree of matching between the feature and the feature of the person shown in the image of the image data. Determination (step A3). Specifically, the first determination unit 12 selects a feature discriminator 16 corresponding to each feature, and causes each selected feature discriminator 16 to perform a matching determination between the corresponding feature and the feature of the person in the image. ..

次に、第２判定部１３は、特徴毎の判定結果に基づいて、特徴情報と画像に写っている人物とが一致しているかどうかを判定する（ステップＡ４）。具体的には、第２判定部１３は、論理加算を行ない、年齢判別器、性別判別器、体格判別器、行動判別器、及び物体判別器の全てにおいて一致している判定された場合に、特徴情報と画像に写っている人物とが一致していると判定する（図３参照）。 Next, the second determination unit 13 determines whether or not the feature information matches the person in the image based on the determination result for each feature (step A4). Specifically, the second determination unit 13 performs logical addition, and when it is determined that all of the age discriminator, the gender discriminator, the physique discriminator, the behavior discriminator, and the object discriminator match. It is determined that the feature information and the person in the image match (see FIG. 3).

その後、出力部１５は、ステップＡ４での判定結果を、検出装置１００の表示装置、検出装置１００の管理者の端末装置等に出力する（ステップＡ５）。また、例えば、特定対象となる人物が指名手配犯であり、ステップＡ４において一致していると判定された場合は、出力部１５は、警告を出力しても良い。また、ステップＡ３〜Ａ５は、撮像装置２０から画像データが出力される度に繰り返し実行される。 After that, the output unit 15 outputs the determination result in step A4 to the display device of the detection device 100, the terminal device of the administrator of the detection device 100, and the like (step A5). Further, for example, if the person to be specified is a wanted criminal and it is determined in step A4 that they match, the output unit 15 may output a warning. Further, steps A3 to A5 are repeatedly executed every time image data is output from the image pickup apparatus 20.

このように、本実施の形態によれば、テキスト等によって特徴情報を入力しておけば、撮像装置２０が撮影した映像から、各特徴が一致した人物が自動的に特定される。このため、目撃情報に基づいて、不審者、指名手配犯等の特徴を特徴情報として入力しておけば、これらの者の顔画像がなくても、これらの者を自動的に特定できる。なお、上述した例では、特徴情報のみを用いて人物を特定しているが、本実施の形態は、特徴情報と顔画像との両方を用いて人物の特定が行なわれる態様であっても良い。 As described above, according to the present embodiment, if the feature information is input by text or the like, a person whose features match is automatically identified from the image captured by the image pickup apparatus 20. Therefore, if features such as suspicious persons and wanted criminals are input as feature information based on the sighting information, these persons can be automatically identified even if there is no facial image of these persons. In the above-mentioned example, the person is specified only by using the feature information, but the present embodiment may be an embodiment in which the person is specified by using both the feature information and the face image. ..

［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図４に示すステップＡ１〜Ａ５を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における情報処理装置１０と情報処理方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、入力受付部１１、第１判定部１２、第２判定部１３、解釈部１４、及び出力部１５として機能し、処理を行なう。 [program]
The program in the present embodiment may be any program as long as it causes a computer to execute steps A1 to A5 shown in FIG. By installing and executing this program on a computer, the information processing apparatus 10 and the information processing method according to the present embodiment can be realized. In this case, the CPU (Central Processing Unit) of the computer functions as an input receiving unit 11, a first determination unit 12, a second determination unit 13, an interpretation unit 14, and an output unit 15 to perform processing.

また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、入力受付部１１、第１判定部１２、第２判定部１３、解釈部１４、及び出力部１５のいずれかとして機能しても良い。 Further, the program in the present embodiment may be executed by a computer system constructed by a plurality of computers. In this case, for example, each computer may function as any of an input receiving unit 11, a first determination unit 12, a second determination unit 13, an interpretation unit 14, and an output unit 15, respectively.

［変形例］
続いて、本実施の形態における変形例について図５を用いて説明する。図５は、本発明の実施の形態における変形例での第１判定部及び第２判定部の処理を説明する図である。 [Modification example]
Subsequently, a modification of the present embodiment will be described with reference to FIG. FIG. 5 is a diagram illustrating the processing of the first determination unit and the second determination unit in the modified example of the embodiment of the present invention.

図５に示すように、本変形例では、各特徴判別器１６は、対応する特徴と画像中の人物の特徴とが一致している確率を算出する。第１判定部１２は、各特徴判別器１６が算出した確率を、第２判定部１３に出力する。 As shown in FIG. 5, in this modification, each feature discriminator 16 calculates the probability that the corresponding feature matches the feature of the person in the image. The first determination unit 12 outputs the probability calculated by each feature discriminator 16 to the second determination unit 13.

そして、第２判定部１３は、人物の特徴毎に算出された確率の平均値を求め、求めた平均値が閾値を超えているかどうかを判定する。判定の結果、平均値が閾値を超えている場合に、第２判定部１３は、特徴情報と画像に写っている人物とが一致していると判定する。 Then, the second determination unit 13 obtains an average value of the probabilities calculated for each characteristic of the person, and determines whether or not the obtained average value exceeds the threshold value. As a result of the determination, when the average value exceeds the threshold value, the second determination unit 13 determines that the feature information and the person in the image match.

本変形例による場合は、ある程度似ている人物が出現すると、警告が出力されるので、不審者及び指名手配犯等が見過ごされる可能性をより低くすることができる。 In the case of this modification, when a person who is similar to some extent appears, a warning is output, so that the possibility that a suspicious person, a wanted criminal, or the like is overlooked can be further reduced.

また、本変形例では、第２判定部１３は、平均値を計算する際に、各特徴の確率に重み係数を乗算して、平均値を算出することができる。具体的には、重み係数の値は、検出装置１００の管理者によって適宜設定される。 Further, in this modification, the second determination unit 13 can calculate the average value by multiplying the probability of each feature by the weighting coefficient when calculating the average value. Specifically, the value of the weighting coefficient is appropriately set by the administrator of the detection device 100.

例えば、特徴情報が目撃情報に基づいて入力されている場合において、管理者は、目撃者の確信度が高い特徴に対しては、重み係数の値を高く設定する。つまり、目撃者が、特定対象となる人物の年齢に自信がある場合は、管理者は、図５の例において、年齢の重み係数を１．２に設定する。この場合、平均値は、（７０×１．２＋８０＋６０＋７５＋９０）／５＝７７．８となり、重み係数を設定しなかった場合（７５）よりも高くなる。 For example, when the feature information is input based on the witness information, the administrator sets a high weight coefficient value for the feature having a high degree of certainty of the witness. That is, if the witness is confident in the age of the person to be identified, the administrator sets the age weighting factor to 1.2 in the example of FIG. In this case, the average value is (70 × 1.2 + 80 + 60 + 75 + 90) / 5 = 77.8, which is higher than that when the weighting coefficient is not set (75).

［応用例］
続いて、図６を用いて、本実施の形態における検出装置１００を用いた人物検出システムについて説明する。図６は、本実施の形態における検出装置によって構成された人物検出システムの一例を示す図である。 [Application example]
Subsequently, with reference to FIG. 6, a person detection system using the detection device 100 in the present embodiment will be described. FIG. 6 is a diagram showing an example of a person detection system configured by the detection device according to the present embodiment.

図６に示すように、人物検出システム４００は、複数の検出装置１００と、管理サーバ２００とを備えており、これらはインターネット３００を介して接続されている。また、管理サーバ２００には、管理者の端末装置２１０が接続されている。また、検出装置１００は、それぞれ異なるエリアに設置されている。 As shown in FIG. 6, the person detection system 400 includes a plurality of detection devices 100 and a management server 200, which are connected via the Internet 300. Further, the administrator's terminal device 210 is connected to the management server 200. Further, the detection devices 100 are installed in different areas.

管理者は、目撃者から「20代か30代のナイフを持って走っている中肉中背の帽子を被っていない男性」のような証言が与えられると、この証言を元に、端末装置２１０上で特徴情報を入力する。これにより、端末装置２１０は、特徴情報を管理サーバ２００に送信する。 When the witness gives a testimony such as "a man in his twenties or thirties running with a knife and not wearing a medium-sized medium-back hat", the administrator is based on this testimony. Enter the feature information on the 210. As a result, the terminal device 210 transmits the feature information to the management server 200.

管理サーバ２００は、特徴情報を受信すると、受信した特徴情報の形式を、図３に示した論理的に解釈可能な形式に変換する。そして、管理サーバ２００は、変換後の特徴情報を、各検出装置１００に送信する。また、管理サーバ２００は、目撃情報が取得されたエリアを取得できる場合は、特定したエリア及びそれに隣接するエリアに対応する検出装置１００のみに特徴情報を送信することもできる。 When the management server 200 receives the feature information, the management server 200 converts the received feature information format into a logically interpretable format shown in FIG. Then, the management server 200 transmits the converted feature information to each detection device 100. Further, when the management server 200 can acquire the area from which the sighting information has been acquired, the management server 200 can also transmit the feature information only to the detection device 100 corresponding to the specified area and the area adjacent thereto.

各検出装置１００は、管理サーバ２００から送信されてきた特徴情報を受信すると、入力受付部１１において、特徴情報の入力が受け付けられ（ステップＡ１）、その後、ステップＡ２〜Ａ５が実行される。また、ステップＡ３〜Ａ５は、撮像装置２０から画像データが出力される度に繰り返し実行される。なお、人物検出システム４００は、不審者、指名手配犯だけでなく、迷子の検出にも適用可能である。 When each detection device 100 receives the feature information transmitted from the management server 200, the input receiving unit 11 receives the input of the feature information (step A1), and then steps A2 to A5 are executed. Further, steps A3 to A5 are repeatedly executed every time image data is output from the image pickup apparatus 20. The person detection system 400 can be applied not only to suspicious persons and wanted criminals but also to detection of lost children.

［物理構成］
ここで、本実施の形態におけるプログラムを実行することによって、情報処理装置１０を実現するコンピュータについて図７を用いて説明する。図７は、本発明の実施の形態における情報処理装置を実現するコンピュータの一例を示すブロック図である。 [Physical configuration]
Here, a computer that realizes the information processing apparatus 10 by executing the program according to the present embodiment will be described with reference to FIG. 7. FIG. 7 is a block diagram showing an example of a computer that realizes the information processing apparatus according to the embodiment of the present invention.

図７に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。 As shown in FIG. 7, the computer 110 includes a CPU 111, a main memory 112, a storage device 113, an input interface 114, a display controller 115, a data reader / writer 116, and a communication interface 117. Each of these parts is connected to each other via a bus 121 so as to be capable of data communication.

ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード）をメインメモリ１１２に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。 The CPU 111 expands the programs (codes) of the present embodiment stored in the storage device 113 into the main memory 112 and executes them in a predetermined order to perform various operations. The main memory 112 is typically a volatile storage device such as a DRAM (Dynamic Random Access Memory). Further, the program in the present embodiment is provided in a state of being stored in a computer-readable recording medium 120. The program in the present embodiment may be distributed on the Internet connected via the communication interface 117.

また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。 Further, specific examples of the storage device 113 include a semiconductor storage device such as a flash memory in addition to a hard disk drive. The input interface 114 mediates data transmission between the CPU 111 and an input device 118 such as a keyboard and mouse. The display controller 115 is connected to the display device 119 and controls the display on the display device 119.

データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。 The data reader / writer 116 mediates the data transmission between the CPU 111 and the recording medium 120, reads the program from the recording medium 120, and writes the processing result in the computer 110 to the recording medium 120. The communication interface 117 mediates data transmission between the CPU 111 and another computer.

また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ−ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。 Specific examples of the recording medium 120 include a general-purpose semiconductor storage device such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), a magnetic recording medium such as a flexible disk, or a CD-. Examples include optical recording media such as ROM (Compact Disk Read Only Memory).

なお、本実施の形態における情報処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、情報処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。 The information processing apparatus 10 in the present embodiment can also be realized by using the hardware corresponding to each part instead of the computer in which the program is installed. Further, the information processing apparatus 10 may be partially realized by a program and the rest may be realized by hardware.

以上のように、本発明によれば、不審人物等に関する顔画像以外の特徴情報に基づいて不審人物等を自動的に特定することができる。本発明は、不審人物、指名手配犯等を検出するためのシステム、迷子を捜すためのシステムに有用である。 As described above, according to the present invention, the suspicious person or the like can be automatically identified based on the feature information other than the facial image regarding the suspicious person or the like. The present invention is useful for a system for detecting a suspicious person, a wanted criminal, etc., and a system for searching for a lost child.

１０情報処理装置
１１入力受付部
１２第１判定部
１３第２判定部
１４解釈部
１５出力部
１６特徴判別器
２０撮像装置
１００検出装置
１１０コンピュータ
１１１ＣＰＵ
１１２メインメモリ
１１３記憶装置
１１４入力インターフェイス
１１５表示コントローラ
１１６データリーダ／ライタ
１１７通信インターフェイス
１１８入力機器
１１９ディスプレイ装置
１２０記録媒体
１２１バス
２００管理サーバ
２１０端末装置
３００インターネット
４００人物検出システム 10 Information processing device 11 Input reception unit 12 First judgment unit 13 Second judgment unit 14 Interpretation unit 15 Output unit 16 Feature discriminator 20 Imaging device 100 Detection device 110 Computer 111 CPU
112 Main memory 113 Storage device 114 Input interface 115 Display controller 116 Data reader / writer 117 Communication interface 118 Input device 119 Display device 120 Recording medium 121 Bus 200 Management server 210 Terminal device 300 Internet 400 Person detection system

Claims

An input reception unit that accepts input of characteristic information indicating at least external characteristics of a specific target person,
A first determination unit that determines the degree of matching between the characteristics of the person included in the feature information and the characteristics of the person shown in the image.
A second determination unit that determines whether or not the feature information matches the person in the image based on the determination result of the characteristics of the person.
An information processing device characterized by being equipped with.

The information processing apparatus according to claim 1.
The external feature is information about the body shape of the person to be specified.
The first determination unit is
The body shape is determined based on the comparison result between the external characteristics of the person shown in the image and the preset body shape pattern.
An information processing device characterized by this.

The information processing apparatus according to claim 1 or 2.
When the first determination unit has a feature discriminator for each feature of the person and further acquires the image data from an image pickup device that outputs image data at set intervals, the corresponding first determination unit corresponds to each feature. The feature discriminator calculates the probability that the feature matches the feature of the person in the image of the image data.
The second determination unit calculates the average value of the probabilities calculated for each of the features, determines whether or not the calculated average value exceeds the threshold value, and as a result of the determination, the average value exceeds the threshold value. If so, it is determined that the feature information and the person in the image match.
An information processing device characterized by this.

The information processing apparatus according to claim 3.
The second determination unit multiplies each of the probabilities for each feature by a set weight to calculate the average value.
An information processing device characterized by this.

The information processing apparatus according to any one of claims 1 to 4.
The first determination unit determines, for each of the features, whether the feature and the feature of the person in the image match or disagree.
In the determination for each characteristic of the person by the second determination unit, when the number of determination results determined to match is equal to or greater than a predetermined number, or the ratio of the determination results determined to match is a predetermined ratio. In the above case, it is determined that the feature information and the person in the image match.
An information processing device characterized by this.

It is equipped with a management server to which a terminal device is connected and a plurality of detection devices installed in each area.
When the management server receives feature information indicating at least external features of the person to be specified from the terminal device, the management server transmits the received feature information to each of the plurality of detection devices.
Each of the plurality of detection devices
An input reception unit that accepts input of the feature information,
A first determination unit that determines the degree of matching between the external characteristics of the person included in the feature information and the characteristics of the person shown in the image.
A second determination unit that determines whether or not the feature information matches the person in the image based on the determination result of the characteristics of the person.
The detection system is characterized by being equipped with.

The detection system according to claim 6.
When the management server can identify the area where the person to be specified is witnessed, the management server transmits the feature information to the detection device corresponding to the identified area and the area adjacent thereto.
A detection system characterized by that.

An input acceptance step that accepts input of characteristic information indicating at least external characteristics of a specific target person,
The first determination step for determining the degree of matching between the characteristics of the person included in the characteristic information and the characteristics of the person shown in the image.
A second determination step of determining whether or not the characteristic information and the person shown in the image match based on the determination result of the characteristic of the person.
An information processing method characterized by having.

On the computer
An input acceptance step that accepts input of characteristic information indicating at least external characteristics of a specific target person,
The first determination step for determining the degree of matching between the characteristics of the person included in the characteristic information and the characteristics of the person shown in the image.
A second determination step of determining whether or not the characteristic information and the person shown in the image match based on the determination result of the characteristic of the person.
A program to execute.