[go: up one dir, main page]

WO2015033576A1 - セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体 - Google Patents

セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2015033576A1
WO2015033576A1 PCT/JP2014/004583 JP2014004583W WO2015033576A1 WO 2015033576 A1 WO2015033576 A1 WO 2015033576A1 JP 2014004583 W JP2014004583 W JP 2014004583W WO 2015033576 A1 WO2015033576 A1 WO 2015033576A1
Authority
WO
WIPO (PCT)
Prior art keywords
suspicious
person
action
security system
store
Prior art date
Application number
PCT/JP2014/004583
Other languages
English (en)
French (fr)
Inventor
内田　薫
山下　信行
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to CN201480048366.4A priority Critical patent/CN105518755A/zh
Priority to JP2015535321A priority patent/JP6249021B2/ja
Priority to US14/916,702 priority patent/US20160210829A1/en
Publication of WO2015033576A1 publication Critical patent/WO2015033576A1/ja
Priority to US16/126,818 priority patent/US11354991B2/en
Priority to US16/126,777 priority patent/US10573141B2/en
Priority to US16/126,729 priority patent/US20190005785A1/en
Priority to US17/743,647 priority patent/US11688256B2/en
Priority to US18/197,397 priority patent/US12039844B2/en
Priority to US18/675,341 priority patent/US20240321071A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Definitions

  • the present invention relates to a security system, a security method, and a non-transitory computer-readable medium in which a security program is stored, and in particular, a security system using a person image, a security method, and a non-temporary computer in which a security program is stored. It relates to a readable medium.
  • Patent Documents 1 to 5 which are related technologies, is being promoted.
  • the related technology has a problem that it is difficult to accurately detect the suspicious behavior of a store clerk or a customer.
  • the present invention has an object to provide a non-temporary computer-readable medium storing a security system, a security method, and a security program capable of accurately detecting a suspicious operation.
  • the security system includes an image information acquisition unit that acquires input image information obtained by imaging a person in a store, a tracking unit that tracks the movement of the person's hand based on the input image information, and the tracking A suspicious motion detection unit that detects the suspicious motion of the person based on the hand motion.
  • the security method obtains input image information obtained by imaging a person in a store, tracks the movement of the person's hand based on the input image information, and based on the movement of the tracked hand, The suspicious action of the person is detected.
  • a non-transitory computer-readable medium storing a security program according to the present invention acquires input image information obtained by imaging a person in a store, and tracks the movement of the person's hand based on the input image information. And causing the computer to execute security processing for detecting the suspicious motion of the person based on the motion of the tracked hand.
  • a non-transitory computer-readable medium in which a security system, a security method, and a security program capable of accurately detecting a suspicious operation are stored.
  • FIG. 1 is a configuration diagram illustrating a configuration of a security system according to a first embodiment.
  • 3 is a diagram illustrating a configuration example of a 3D camera according to Embodiment 1.
  • FIG. 3 is a diagram illustrating a configuration example of a 3D camera according to Embodiment 1.
  • FIG. 3 is a configuration diagram illustrating a configuration of a distance image analysis unit according to Embodiment 1.
  • FIG. 3 is a flowchart showing an operation of the security system according to the first embodiment.
  • 3 is a flowchart showing an operation of a distance image analysis process according to the first embodiment.
  • 6 is a flowchart illustrating an operation of warning information generation processing according to the first embodiment.
  • FIG. 6 is an explanatory diagram for explaining an operation of warning information generation processing according to Embodiment 1.
  • FIG. 5 is a configuration diagram showing a configuration of a security system according to Embodiment 2.
  • FIG. 10 is a configuration diagram illustrating a configuration of a distance image analysis unit according to a second embodiment.
  • FIG. 1 shows a main configuration of the security system according to the embodiment.
  • the security system 10 includes an image information acquisition unit 11, a tracking unit 12, and a suspicious operation detection unit 13.
  • the image information acquisition unit 11 acquires input image information obtained by imaging a person in the store.
  • the tracking unit 12 tracks (tracks) the movement of a person's hand based on the input image information.
  • the suspicious motion detector 13 detects a suspicious motion of a person based on the tracked hand motion.
  • the movement of the hand of a person in the store is tracked, and the suspicious movement is detected based on the tracking result. For example, by tracking the movements of customers and salesclerks in front of store shelves, it is possible to accurately detect suspicious movements leading to shoplifting and embezzlement.
  • FIG. 2 shows the configuration of the security system according to the present embodiment.
  • This security system is a system that detects a suspicious operation of a customer or a store clerk in a store or the like and outputs (displays) a warning (alarm) or the like.
  • the customer includes all persons who have visited (entered) the store, and the store clerk includes all persons involved in the store business.
  • the security system 1 includes a security device 100, a 3D camera 210, a face recognition camera 220, an in-store camera 230, and a warning device 240.
  • a security device 100 for example, each configuration of the security system 1 is provided in the same store, but the security device 100 and the warning device 240 may be provided outside the store.
  • each structure of the security system 1 is demonstrated as a separate apparatus here, each structure is good also as 1 or an arbitrary number of apparatuses.
  • the 3D camera (three-dimensional camera) 210 is an imaging device (distance image sensor) that images and measures a target and generates a distance image (distance image information).
  • the distance image includes image information obtained by imaging the object and distance information obtained by measuring the distance to the object.
  • the 3D camera 210 is configured by Microsoft Kinect (registered trademark), a stereo camera, or the like. By using a 3D camera, it is possible to recognize (track) an object (such as a customer's action) including distance information, and thus highly accurate recognition processing can be performed.
  • the 3D camera 210 images a customer or a store clerk at a specific position in the store in order to detect a suspicious operation by the customer or the store clerk.
  • the 3D camera 210 images the product shelf (product display shelf) 300 on which the product 301 is arranged (displayed), and in particular, the customer 400 who is trying to contact the product 301 in front of the product shelf 300.
  • the 3D camera 210 images a product arrangement region of the product shelf 300 and a region where the customer picks up / views the product in front of the product shelf 300, that is, a presentation region where the product shelf 300 presents the product to the customer.
  • the 3D camera 210 is located on the product shelf 300 and a position where the customer 400 in front of (in the vicinity of) the product shelf 300 can take an image, for example, above (such as a ceiling) or in front of the product shelf 300 (such as a wall), or on the product shelf 300. is set up.
  • the 3D camera 210 captures an image of the cashier counter 310 in which the cash register 311 is installed, and in particular, the clerk 410 who stands in front of the cashier counter 310 and sells the product 301 to the customer 400 or money
  • the clerk 410 trying to contact 302 is imaged.
  • the 3D camera 210 has a register counter 310 and a position where the clerk 410 in front of (in the vicinity of) the register counter 310 can take an image, for example, above or in front of the register counter 310 (ceiling, etc.) (in front of the wall, etc.)
  • the cash register 311) is installed.
  • 3D camera 210 is demonstrated as an apparatus which images the goods shelf 300 and the cash register counter 310, it is comprised not only with 3D camera but with the general camera (2D camera) which outputs only the imaged image. Also good. In this case, tracking is performed using only image information.
  • the face recognition camera 220 and the in-store camera 230 are imaging devices (2D cameras) that generate images obtained by imaging a target.
  • the face recognition camera 220 is installed at an entrance of a store or the like in order to recognize a customer's face, and captures the face of the customer who visits the store and generates a face image.
  • the in-store camera 230 is arranged at a plurality of positions in the store in order to detect a crowded situation by customers in the store, and images each store in the store to generate an in-store image.
  • the face recognition camera 220 and the in-store camera 230 may be configured with a 3D camera. By using a 3D camera, the customer's face and the crowded situation in the store can be accurately recognized.
  • the warning device 240 is a device that notifies (outputs) warning information (alarm) to a monitor such as a store manager, manager, or guard, and records it.
  • the method of notifying (outputting) the monitor may be any method, for example, displaying characters or images on a display device, or outputting sound by a speaker or the like.
  • the warning device 240 is installed at a position where the observer can visually recognize (can hear).
  • the warning device 240 may be, for example, a shelf, a cash register, a security guard room, an employee terminal in the store, or a monitoring device connected to the outside of the store via a network.
  • the warning device 240 is configured by a computer including a display device and a storage device such as a personal computer and a server computer.
  • the security device 100 includes a distance image analysis unit 110, a person recognition unit 120, an in-store situation analysis unit 130, a warning information generation unit 140, a suspicious operation information DB (database) 150, and a 3D moving image information recording unit 160.
  • the suspicious person information DB 170 is provided.
  • each of these blocks will be described as a function of the security device 100, but other configurations may be used as long as an operation according to the present embodiment to be described later can be realized.
  • Each configuration in the security device 100 is configured by hardware and / or software, and may be configured by one piece of hardware or software, or may be configured by a plurality of pieces of hardware or software.
  • Each function (each process) of the security device 100 may be realized by a computer having a CPU, a memory, and the like.
  • a security program for performing the security method (security processing) in the embodiment may be stored in the storage device, and each function may be realized by executing the security program stored in the storage device by the CPU.
  • Non-transitory computer readable media include various types of tangible storage media (tangible storage medium). Examples of non-transitory computer-readable media include magnetic recording media (eg flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)) are included.
  • the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • the distance image analysis unit 110 acquires the distance image generated by the 3D camera 210, tracks the detection target based on the acquired distance image, and recognizes the operation.
  • the distance image analysis unit 110 mainly tracks and recognizes the operation of the customer or the store clerk.
  • the distance image analysis unit 110 refers to the suspicious operation information DB 150 in order to recognize the suspicious operation of the customer or the store clerk included in the distance image.
  • the distance image analysis unit 110 also performs detection necessary for recognizing a suspicious operation and determining a suspicious level. For example, the time during which the suspicious operation is performed, the quantity of the target product, the amount of money, the scale of the target action (such as the size of the wound), and the like are also detected. Further, the distance image analysis unit 110 records the distance image acquired from the 3D camera 210 in the 3D moving image information recording unit 160 as a 3D moving image.
  • the person recognition unit 120 acquires a customer's face image generated by the face recognition camera 220 and recognizes a person included in the acquired face image.
  • the person recognizing unit 120 refers to the suspicious person information DB 170 and determines whether or not the person is a suspicious person by comparing with the face image.
  • the in-store situation analysis unit 130 acquires the in-store image generated by the in-store camera 230, analyzes the number of customers in the store based on the acquired in-store image, and detects the congestion state in the store.
  • the warning information generation unit 140 generates warning information to be reported to the supervisor based on the detection results of the distance image analysis unit 110, the person recognition unit 120, and the in-store situation analysis unit 130, and the generated warning information is sent to the warning device 240. Output.
  • the warning information generation unit 140 includes warning information based on the actions of the customer and the store clerk detected by the distance image analysis unit 110, warning information based on the suspicious person recognized by the person recognition unit 120, and the in-store situation analysis unit 130 Generate and output warning information based on the analyzed congestion situation in the store. Further, the warning information generation unit 140 may record the generated warning information in the 3D moving image of the 3D moving image information recording unit 160.
  • the suspicious operation information DB 150 stores a suspicious operation pattern (suspicious operation pattern information) for detecting a suspicious operation by a customer or a store clerk.
  • the suspicious action is an action (preliminary action) suspected of an illegal act by a person such as a customer or a store clerk, and may include an illegal act.
  • the suspicious action information DB 150 stores, for example, a merchandise fraud acquisition pattern 151, a merchandise fraud modification pattern 152, a money fraud acquisition pattern 153, and the like as suspicious action patterns.
  • the merchandise fraud acquisition pattern 151 is pattern information of an operation for obtaining a merchandise illegally, and includes, for example, an operation in which a customer puts a merchandise in an illegal place other than a cart or a cart.
  • the merchandise fraud modification pattern 152 is pattern information of an operation for illegally modifying a merchandise, and includes, for example, an operation in which a customer destroys or damages the merchandise.
  • the money fraud acquisition pattern 153 is pattern information of an operation for illegally acquiring money, and includes, for example, an operation in which a store clerk puts money into an illegal place such as a pocket from a cash register.
  • the suspicious person information DB 170 stores suspicious person identification information for detecting that the customer who visited the store is a suspicious person.
  • Suspicious persons include previous persons, addicts, and persons requiring attention.
  • Suspicious person identification information includes name, gender, age, facial image information (image), and the like.
  • the suspicious person information DB 170 acquires and stores suspicious person information such as previous persons from the cloud (cloud network) 250 and the like, and suspicious persons such as addicts (attention required) based on the history of the store and the like. Store information.
  • FIG. 4 shows the configuration of the distance image analysis unit 110 of the security device 100.
  • the distance image analysis unit 110 includes a distance image acquisition unit 111, a region detection unit 112, a hand tracking unit 113, and a hand motion recognition unit 114.
  • a configuration for recognizing the movement of a person's hand will be mainly described, a person's face, line of sight, merchandise, money, and the like can be detected by the same configuration.
  • the distance image acquisition unit 111 acquires a distance image including a customer and a store clerk captured and generated by the 3D camera 210.
  • the area detection unit 112 detects an area of each part of the customer or salesclerk included in the distance image acquired by the distance image acquisition unit 111.
  • the hand tracking unit 113 tracks the operation of the customer (store) 's hand (hand) detected by the area detection unit 112.
  • the hand motion recognition unit 114 recognizes a suspicious motion of a customer or a clerk based on the hand (hand) motion tracked by the hand tracking unit 113.
  • the hand movement recognition unit 114 Based on the suspicious motion information DB 150, the hand movement recognition unit 114, for example, a merchandise fraud acquisition pattern such as putting a merchandise in a clothes pocket, a merchandise fraud modification pattern such as breaking a merchandise, and money in a pocket of clothes. It is determined whether or not the money fraud acquisition pattern, such as putting in, is applicable.
  • a customer enters a store and approaches a shelf in the store (S101).
  • the face recognition camera 220 in the store generates an image of the customer's face
  • the security device 100 checks the face image against suspicious person information such as a previous history / careful list (S102). That is, the person recognizing unit 120 of the security device 100 compares the face image information of the suspicious person (previous record / precautionary list) stored in the suspicious person information DB 170 with the face image captured by the face recognition camera 220. By searching for a matching person, it is determined whether or not the customer is a suspicious person.
  • the suspicious operation such as the customer putting the product into a place other than the cart / cart is performed (S103).
  • the 3D camera 210 near the shelf images the customer's hand, and the security device 100 recognizes the movement of the customer's hand from the distance image of the 3D camera 210 (S104). That is, the distance image analysis unit 110 of the security device 100 tracks a distance image obtained by capturing the customer's hand and recognizes that the customer has picked up the product and put it in an illegal place.
  • the security device 100 determines a suspicious action based on the action at hand of the customer recognized in S104, and displays and records a warning on the warning device 240 such as a salesclerk terminal or a security terminal (S105). That is, the warning information generation unit 140 of the security device 100 generates and outputs warning information indicating the determined suspicious action. In addition, the warning information generation unit 140 generates and outputs warning information based on the suspicious person recognized in S102.
  • the store clerk approaches the cashier counter (S106) and performs suspicious behavior such as putting money outside the cashier (S107). Then, as in the case of the customer's operation, the security device 100 recognizes the movement of the store clerk from the distance image of the 3D camera 210 (S104), and displays and records a warning on the warning device 240 (S105). .
  • FIG. 6 shows details of the recognition process (tracking process) executed by the distance image analysis unit 110 in S104 of FIG. Note that the processing in FIG. 6 is an example, and the hand movement may be recognized by other image analysis processing. Similarly, a person's face, line of sight, merchandise, money, or the like may be detected.
  • the distance image acquisition unit 111 acquires a distance image including a customer or a clerk from the 3D camera 210 (S201).
  • the area detection unit 112 detects a customer or salesperson person included in the distance image acquired in S201 (S202), and further detects an area of each area of the person (S203).
  • the region detection unit 112 uses a discriminator such as SVM (Support Vector Vector Machine) to detect a person (customer or store clerk) based on the image and distance included in the distance image, and estimates the joint of the detected person By doing so, the human skeleton is detected.
  • the area detection unit 112 detects the area of each part such as a human hand (hand) based on the detected skeleton.
  • the hand tracking unit 113 tracks the action of the customer or the store clerk detected in S203 (S204).
  • the hand tracking unit 113 tracks the skeleton around the customer's hand based on the image and the distance included in the distance image, and detects the movement of the finger or palm of the hand.
  • the hand motion recognition unit 114 extracts the hand motion feature based on the hand motion tracked in S204 (S205), and recognizes the suspicious motion of the customer or the clerk based on the extracted feature (S205). S206).
  • the hand movement recognition unit 114 extracts changes in the orientation, angle, and movement amount of fingers and palms (wrists) as feature amounts.
  • the hand movement recognition unit 114 detects that the customer is holding the product from the angle of the finger, and if the finger is released from the product with the hand close to the clothes pocket, the customer wears the product. Detecting that it is in your pocket. Then, the hand motion recognition unit 114 compares the detected motion pattern with the merchandise fraud acquisition pattern 151, the merchandise fraud modification pattern 152, and the money fraud acquisition pattern 153 in the suspicious motion information DB 150, and corresponds to these motion patterns. In the case, it is determined that the operation is suspicious. Further, the features of the image of the merchandise fraud acquisition pattern 151, the merchandise fraud modification pattern 152, and the money fraud acquisition pattern 153 are learned in advance, and the state of the hand is identified by comparing the learned feature amount with the detected feature amount. May be.
  • FIG. 7 shows details of the warning output process executed in S104 and S105 of FIG.
  • the distance image analysis unit 110 it is determined whether or not the customer or the store clerk has performed a suspicious operation (S301). For example, the customer determines an operation such as putting a product into a pocket / hand-held bag or the like other than the product basket / cart, or an operation such as breaking the product, scratching it, mixing a foreign object, or changing the arrangement illegally.
  • the store clerk determines operations such as dressing sales, embedding the product (putting money into a pocket or the like), and delivering the product to a conspiring customer without receiving a regular price.
  • the warning information generation unit 140 acquires suspicious person information (S302), and acquires the congestion status in the store (S303).
  • the warning information generation unit 140 acquires suspicious person information indicating whether or not the customer is a suspicious person from the person recognition unit 120 in order to provide warning information based on a person recognition result based on a face image of the face recognition camera 220. Further, the warning information generation unit 140 acquires the congestion status in the store from the store status analysis unit 130 in order to provide warning information based on the congestion status analysis result based on the store image of the store camera 230.
  • acquisition of suspicious person information and acquisition of the congestion status may be omitted before the customer is recognized or before the analysis of the congestion status and when each information is unnecessary.
  • the warning information generation unit 140 determines a suspicious level for the detected suspicious operation of the customer or the store clerk (S304). For example, a suspicious level is assigned to each suspicious action pattern in the suspicious action information DB 150, and the suspicious level is determined with reference to the suspicious action information DB 150.
  • FIG. 8 shows an example of a suspicious level for a suspicious action.
  • a level is set between suspicious levels 1-5.
  • the higher the suspicious level the stronger the suspicion of fraud.
  • the suspicious action information DB 150 is referred to and the suspicious level 3 is set. Then, the suspicious level is adjusted in consideration of other parameters.
  • threshold values are set for the operation time, the number of products, and the price of the product.
  • the suspicious level is increased according to the amount exceeding the threshold, and when the time is longer than the threshold or the number of products is If the price of the product is low, the suspicious level is reduced according to the amount below the threshold.
  • the suspicious action information DB 150 is referred to as suspicious. Level 3 is assumed. Then, the suspicious level is adjusted in consideration of other parameters.
  • threshold values are set for the size (ratio) of the wound, the operation time, the number of products, and the price of the product.
  • the suspicious behavior information DB 150 is referred to and the suspicious level 3 is set. Then, the suspicious level is adjusted in consideration of other parameters.
  • threshold values are set for the operation time and the amount of money. If the time is shorter than this threshold or the amount is high, the suspicious level is increased according to the amount exceeding the threshold, and if the time is longer than the threshold or the amount is cheap, the amount below the threshold Reduce the suspicious level accordingly.
  • the suspicious action is likely to be performed, so the suspicious level is increased.
  • the suspicious level may be increased when the customer or the store clerk looks around.
  • the suspicious level is determined based on the suspicious person or the situation in the store, but this may be taken into account before the suspicious action is detected. For example, warning information (attention information) may be output even if a suspicious operation is not detected when the customer is a suspicious person, the situation in the store is congested / unexploited, or the bag is opened. Further, in this case, the threshold value for detecting the suspicious action (for example, the time until the suspicious action is detected) may be lowered so that the suspicious action can be easily detected.
  • warning information attention information
  • the threshold value for detecting the suspicious action for example, the time until the suspicious action is detected
  • the warning information generation unit 140 outputs warning information based on the determination result (S305).
  • the warning information generation unit 140 outputs the detected suspicious action and the determined suspicious level to the warning device 240.
  • the output of warning information may be controlled based on the suspicious level.
  • the suspicious level is smaller than the predetermined value, no warning is required, so that it is not necessary to output to the warning device 240. In this case, only the recording may be performed without displaying the warning device 240.
  • the suspicious action and the suspicious level may be recorded in the 3D video information.
  • recording the suspicious level it is possible to extract and confirm only before and after the portion with a high suspicious level, and to efficiently confirm the content of the 3D moving image.
  • the movement of the customer or the store clerk is observed by the 3D camera arranged at a position where the customer (shopper) or the store clerk in front of the product shelf or the cash register can be seen, and the customer or the store clerk is suspicious. Recognize movement. When a suspicious operation is recognized, warning information (alarm) is notified to a shelf, a cash register, a security guard room, an employee terminal in the store, and the operation is recorded.
  • the movement of the hand can be accurately grasped by the 3D camera, and the operations such as illegally obtaining the product, illegally modifying the product, illegally obtaining money, etc. can be grasped, so that the suspiciously accurately. It is possible to detect an action and output warning information corresponding to the suspicious action. Therefore, it is possible to automate monitoring of suspicious actions / injustices, efficiently enhance security, and improve profit margins.
  • the present embodiment is an example of detecting a suspicious operation by detecting a deviating operation from the normal operation information pattern as a complement to the suspicious operation recognition in the first embodiment. That is, not limited to the example of the first embodiment, the store clerk dresses sales, embezzles the product (puts money into a pocket, etc.), delivers the product to the conspiring customer without receiving a regular price, etc. Instead of detecting this, it may be determined that the operation is suspicious by detecting a deviation from the operation of the store clerk's normal cash register work or the like.
  • FIG. 9 shows the configuration of the security system according to the present embodiment.
  • the security device 100 further includes a normal operation information DB 180 compared to the configuration of FIG. 2 of the first embodiment.
  • the normal operation information DB 180 stores a normal operation pattern (normal operation pattern information) indicating a normal operation by a customer or a store clerk.
  • the normal operation information DB 180 stores, for example, a product normal acquisition pattern 181, a product normal change pattern 182, a money normal acquisition pattern 183, and the like as normal operation patterns.
  • the product normal acquisition pattern 181 is pattern information of an operation for acquiring a product normally, and includes, for example, an operation in which a customer puts a product into a basket or cart.
  • the product normal change pattern 182 is pattern information of an operation for changing the product normally, and includes, for example, an operation in which the store clerk changes the display of the product.
  • the money normal acquisition pattern 183 is pattern information of an operation for acquiring money normally, and includes, for example, a normal cashier operation operation of the store clerk, an operation in which the store clerk delivers money from the register to the customer.
  • FIG. 10 shows a configuration of the distance image analysis unit 110 of the security device 100 according to the present embodiment.
  • the present embodiment further includes a detachment behavior detection unit 115 with respect to the configuration of FIG. 4 of the first embodiment.
  • the detachment behavior detection unit 115 detects whether the operation of the customer or the clerk is out of the normal operation (suspicious operation) based on the operation of the hand (hand) tracked by the hand tracking unit 113.
  • the detachment behavior detection unit 115 refers to the normal operation information DB 180, compares the detected operation of the customer or the store clerk with the product normal acquisition pattern 181, the product normal change pattern 182 and the money normal acquisition pattern 183, and the operation of the customer or the store clerk. Is not in these operation patterns, it is determined that the operation is suspicious.
  • the suspicious level may be set according to the degree of deviation from the normal operation pattern (degree of mismatch).
  • the suspicious motion may be determined in consideration of both the detection result by the hand motion recognition unit 114 using the illegal motion pattern and the detection result by the detachment behavior detection unit 115 using the normal motion pattern. For example, when either the hand movement recognition unit 114 or the detachment action detection unit 115 determines that the suspicious action is suspicious, it may be determined that the movement is suspicious, or both the hand movement recognition unit 114 and the detachment action detection unit 115 If it is determined to be suspicious, it may be determined that the operation is suspicious.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Burglar Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

セキュリティシステム（１０）は、店舗内の人物を撮像した入力画像情報を取得する画像情報取得部（１１）と、入力画像情報に基づいて、人物の手の動作をトラッキングするトラッキング部（１２）と、トラッキングした手の動作に基づいて、人物の不審動作を検出する不審動作検出部（１３）と、を備えるものである。これにより、精度良く不審動作を検出することが可能なセキュリティシステム、セキュリティ方法及びセキュリティプログラムを提供する。

Description

セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体
　本発明は、セキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体に関し、特に、人物の画像を用いたセキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体に関する。
　店舗では、顧客による万引きやアルバイトによる横領などの被害が後を絶たない。このような不正行為を防ぐために、店員や店舗マネージャが目視にて監視を行ったり、通常の２Ｄカメラで監視した画像を録画し目視にて事後確認を行ったりしている。
　目視で不正行為を確認することは、効率が悪いことから、例えば、関連する技術である特許文献１～５のようなシステムの開発が進められている。
特開２０１１－０６５３２８号公報 特開２０１０－０９４３３２号公報 特開２００９－０４８４３０号公報 特開２００９－００９２３１号公報 特開２００８－２５７４８７号公報
　例えば、特許文献１などの関連する技術では、店員の顔の振れた回数が所定回数以上で、かつ、レジの取消金額が基準金額以上の場合、不正行為の疑い（不審動作）があることを検出している。
　しかしながら、関連する技術では、顔の振れ等により検出を行っているため、店員等の不審動作を検出することができない場合がある。例えば、不審動作は手元で行われることが多いが、関連する技術では、手元の動作に基づいた行為を検出することはできない。
　したがって、関連する技術では、店員や顧客等の不審動作を精度よく検出することが困難であるという問題があった。
　本発明は、このような問題に鑑み、精度良く不審動作を検出することが可能なセキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体を提供することを目的とする。
　本発明に係るセキュリティシステムは、店舗内の人物を撮像した入力画像情報を取得する画像情報取得部と、前記入力画像情報に基づいて、前記人物の手の動作をトラッキングするトラッキング部と、前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する不審動作検出部と、を備えるものである。
　本発明に係るセキュリティ方法は、店舗内の人物を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出するものである。
　本発明に係るセキュリティプログラムが格納された非一時的なコンピュータ可読媒体は、店舗内の人物を撮像した入力画像情報を取得し、前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する、セキュリティ処理をコンピュータに実行させるためのものである。
　本発明によれば、精度良く不審動作を検出することが可能なセキュリティシステム、セキュリティ方法及びセキュリティプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。
実施の形態に係るセキュリティシステムの主要な構成を示す構成図である。 実施の形態１に係るセキュリティシステムの構成を示す構成図である。 実施の形態１に係る３Ｄカメラの構成例を示す図である。 実施の形態１に係る３Ｄカメラの構成例を示す図である。 実施の形態１に係る距離画像解析部の構成を示す構成図である。 実施の形態１に係るセキュリティシステムの動作を示すフローチャートである。 実施の形態１に係る距離画像解析処理の動作を示すフローチャートである。 実施の形態１に係る警告情報生成処理の動作を示すフローチャートである。 実施の形態１に係る警告情報生成処理の動作を説明するための説明図である。 実施の形態２に係るセキュリティシステムの構成を示す構成図である。 実施の形態２に係る距離画像解析部の構成を示す構成図である。
（実施の形態の概要）
　実施の形態の説明に先立って、実施の形態の特徴についてその概要を説明する。図１は、実施の形態に係るセキュリティシステムの主要な構成を示している。
　図１に示すように、実施の形態に係るセキュリティシステム１０は、画像情報取得部１１、トラッキング部１２、不審動作検出部１３を備えている。画像情報取得部１１は、店舗内の人物を撮像した入力画像情報を取得する。トラッキング部１２は、入力画像情報に基づいて、人物の手の動作をトラッキング（追跡）する。不審動作検出部１３は、トラッキングした手の動作に基づいて、人物の不審動作を検出する。
　このように、実施の形態では、店舗内の人物の手の動作をトラッキングし、トラッキング結果に基づいて不審動作を検出する。例えば、店舗の商品棚の前における顧客や店員の手元の動作をトラッキングすることで、万引きや横領などにつながる不審動作を、精度よく検出することができる。
（実施の形態１）
　以下、図面を参照して実施の形態１について説明する。図２は、本実施の形態に係るセキュリティシステムの構成を示している。このセキュリティシステムは、店舗等において、顧客や店員の不審動作を検出し、警告（警報）の出力（表示）等を行うシステムである。なお、顧客には、店舗に来店（入店）した全ての人物を含み、店員には、店舗の業務に関わる全ての人物を含む。
　図２に示すように、本実施の形態に係るセキュリティシステム１は、セキュリティ装置１００、３Ｄカメラ２１０、顔認識カメラ２２０、店内カメラ２３０、警告装置２４０を備えている。例えば、セキュリティシステム１の各構成は同一の店舗に設けられているが、セキュリティ装置１００や警告装置２４０を店舗の外部に設けてもよい。なお、ここでは、セキュリティシステム１の各構成を別々の装置として説明するが、各構成を１または任意の数の装置としてもよい。
　３Ｄカメラ（３次元カメラ）２１０は、対象を撮像及び計測し、距離画像（距離画像情報）を生成する撮像装置（距離画像センサ）である。距離画像は、対象を撮像した画像情報と、対象までの距離を計測した距離情報を含んでいる。例えば、３Ｄカメラ２１０は、Ｍｉｃｒｏｓｏｆｔ　Ｋｉｎｅｃｔ（登録商標）や、ステレオカメラなどで構成される。３Ｄカメラを用いることで、距離情報を含めて対象（顧客の動作など）を認識（トラッキング）できるため、高精度な認識処理を行うことができる。
　図３Ａ及び図３Ｂのように、本実施の形態では、３Ｄカメラ２１０は、顧客や店員の手元による不審動作を検出するために、店内の特定の位置で顧客や店員を撮像する。図３Ａの例では、３Ｄカメラ２１０は、商品３０１が配置（陳列）された商品棚（商品陳列棚）３００を撮像し、特に、商品棚３００の前で商品３０１に接触しようとしている顧客４００を撮像する。３Ｄカメラ２１０は、商品棚３００の商品配置領域と商品棚３００の前で顧客が商品を手に取る／見る領域、すなわち、商品棚３００が商品を顧客に提示する提示領域を撮像する。３Ｄカメラ２１０は、商品棚３００と、商品棚３００の前（近傍）の顧客４００が撮像可能な位置、例えば、商品棚３００の上方（天井など）や前方（壁など）、もしくは商品棚３００に設置されている。
　図３Ｂの例では、３Ｄカメラ２１０は、レジ３１１が設置されたレジカウンター３１０を撮像し、特に、レジカウンター３１０の前に立ち、顧客４００へ商品３０１を販売しようとしている店員４１０、もしくは、金銭３０２に接触しようとしている店員４１０を撮像する。３Ｄカメラ２１０は、レジカウンター３１０と、レジカウンター３１０の前（近傍）の店員４１０が撮像可能な位置、例えば、レジカウンター３１０（天井など）の上方や前方（壁など）、もしくはレジカウンター３１０（レジ３１１）などに設置されている。
　なお、商品棚３００やレジカウンター３１０を撮像する装置として、３Ｄカメラ２１０の例について説明するが、３Ｄカメラに限らず、撮像した画像のみを出力する一般的なカメラ（２Ｄカメラ）で構成してもよい。この場合、画像情報のみを用いてトラッキングが行われる。
　顔認識カメラ２２０及び店内カメラ２３０は、対象を撮像した画像を生成する撮像装置（２Ｄカメラ）である。顔認識カメラ２２０は、顧客の顔を認識するために、店舗の入口などに設置され、来店した顧客の顔を撮像し顔画像を生成する。店内カメラ２３０は、店内の顧客による混雑状況を検出するために、店内の複数の位置に配置され、店内の各売り場を撮像し店内画像を生成する。なお、顔認識カメラ２２０及び店内カメラ２３０は、３Ｄカメラで構成してもよい。３Ｄカメラとすることで、顧客の顔や店内の混雑状況を精度よく認識できる。
　警告装置２４０は、店舗マネージャ、経営者、警備員などの監視者へ警告情報（アラーム）を通知（出力）し、また記録を行う装置である。監視者へ通知（出力）する方法は任意の方法でよく、例えば、表示装置による文字や画像等の表示や、スピーカ等による音声出力でもよい。警告装置２４０は、監視者が視認可能（聞き取り可能）な位置に設置される。警告装置２４０は、例えば、棚・レジ・警備員室・店内の従業員端末などでもよいし、店舗の外部にネットワークで接続された監視装置でもよい。例えば、警告装置２４０は、パーソナルコンピュータやサーバコンピュータなど表示装置や記憶装置を含むコンピュータで構成される。
　図２に示すように、セキュリティ装置１００は、距離画像解析部１１０、人物認識部１２０、店内状況解析部１３０、警告情報生成部１４０、不審動作情報ＤＢ（データベース）１５０、３Ｄ動画情報記録部１６０、不審者情報ＤＢ１７０を備えている。なお、ここでは、これらの各ブロックをセキュリティ装置１００の機能として説明するが、後述する本実施の形態に係る動作が実現できれば、その他の構成であってもよい。
　セキュリティ装置１００における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。セキュリティ装置１００の各機能（各処理）を、ＣＰＵやメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施の形態におけるセキュリティ方法（セキュリティ処理）を行うためのセキュリティプログラムを格納し、各機能を、記憶装置に格納されたセキュリティプログラムをＣＰＵで実行することにより実現してもよい。
　このセキュリティプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　距離画像解析部１１０は、３Ｄカメラ２１０が生成した距離画像を取得し、取得した距離画像に基づいて検出対象をトラッキングし、その動作を認識する。本実施の形態では、距離画像解析部１１０は、主に、顧客や店員の手元の動作をトラッキングし認識する。距離画像解析部１１０は、距離画像に含まれる顧客や店員の不審動作を認識するため不審動作情報ＤＢ１５０を参照する。距離画像解析部１１０は、不審動作の認識や不審レベルの判定などに必要な検出も行う。例えば、不審動作を行っている時間や、対象商品の数量、金額、対象行為の規模（傷の大きさなど）なども検出する。また、距離画像解析部１１０は、３Ｄカメラ２１０から取得した距離画像を３Ｄ動画として、３Ｄ動画情報記録部１６０に記録する。
　人物認識部１２０は、顔認識カメラ２２０が生成した顧客の顔画像を取得し、取得した顔画像に含まれる人物を認識する。人物認識部１２０は、不審者情報ＤＢ１７０を参照し、顔画像と比較することで不審者か否か判定する。店内状況解析部１３０は、店内カメラ２３０が生成した店内画像を取得し、取得した店内画像に基づいて店内における顧客の人数を解析し、店内の混雑状況を検出する。
　警告情報生成部１４０は、距離画像解析部１１０、人物認識部１２０、店内状況解析部１３０の検出結果に基づいて、監視者へ通報する警告情報を生成し、生成した警告情報を警告装置２４０へ出力する。警告情報生成部１４０は、距離画像解析部１１０により検出された顧客や店員の手元の動作に基づいた警告情報、人物認識部１２０が認識した不審者に基づいた警告情報、店内状況解析部１３０が解析した店内の混雑状況に基づいた警告情報を生成し出力する。また、警告情報生成部１４０は、生成した警告情報を３Ｄ動画情報記録部１６０の３Ｄ動画に記録してもよい。
　不審動作情報ＤＢ１５０は、顧客や店員による不審動作を検出するための不審動作パターン（不審動作パターン情報）を記憶する。なお、不審動作とは、顧客や店員などの人物による不正行為が疑われる動作（予備的行為）であり、不正行為を含んでいてもよい。不審動作情報ＤＢ１５０は、不審動作パターンとして、例えば、商品不正取得パターン１５１、商品不正改変パターン１５２、金銭不正取得パターン１５３などを記憶する。
　商品不正取得パターン１５１は、商品を不正に取得する動作のパターン情報であり、例えば、顧客が商品をカゴやカート以外の不正な場所に入れる動作などを含む。商品不正改変パターン１５２は、商品を不正に改変する動作のパターン情報であり、例えば、顧客が商品を破壊したり傷つける動作などを含む。金銭不正取得パターン１５３は、金銭を不正に取得する動作のパターン情報であり、例えば、店員が金銭をレジからポケットなどの不正な場所に入れる動作などを含む。
　不審者情報ＤＢ１７０は、来店した顧客が不審者であることを検出するための不審者識別情報を記憶する。不審者には、前歴者、常習者、要注意者が含まれ、不審者識別情報には、氏名、性別、年齢、顔のイメージ情報（画像）などを含む。例えば、不審者情報ＤＢ１７０は、クラウド（クラウドネットワーク）２５０などから前歴者などの不審者情報を取得して記憶し、また、店舗の履歴などに基づいて常習者（要注意者）などの不審者情報を記憶する。
　図４は、セキュリティ装置１００の距離画像解析部１１０の構成を示している。図４に示すように、距離画像解析部１１０は、距離画像取得部１１１、領域検出部１１２、手元トラッキング部１１３、手元動作認識部１１４を備えている。なお、主に、人物の手元の動作を認識するための構成について説明するが、その他、人物の顔や視線、商品や金銭なども同様の構成により検出可能である。
　距離画像取得部１１１は、３Ｄカメラ２１０が撮像し生成した顧客や店員を含む距離画像を取得する。領域検出部１１２は、距離画像取得部１１１が取得した距離画像に含まれる顧客や店員の各部の領域を検出する。
　手元トラッキング部１１３は、領域検出部１１２が検出した顧客や店員の手元（手）の動作をトラッキングする。手元動作認識部１１４は、手元トラッキング部１１３がトラッキングした手元（手）の動作に基づいて、顧客や店員の不審動作を認識する。手元動作認識部１１４は、不審動作情報ＤＢ１５０に基づいて、例えば、商品を服のポケットに入れる等のような商品不正取得パターン、商品を壊す等のような商品不正改変パターン、金銭を服のポケットに入れる等のような金銭不正取得パターンに該当するか否か判定する。
　次に、図５を用いて、本実施の形態に係るセキュリティシステム（セキュリティ装置）で実行されるセキュリティ方法（セキュリティ処理）について説明する。
　図５に示すように、まず、顧客が店舗に入り、店舗内の棚に近づく（Ｓ１０１）。そうすると、店舗内の顔認識カメラ２２０が、顧客の顔撮像を生成し、セキュリティ装置１００が、顔画像を前歴者／要注意リストなどの不審者情報と照合する（Ｓ１０２）。すなわち、セキュリティ装置１００の人物認識部１２０は、不審者情報ＤＢ１７０に記憶された不審者（前歴者／要注意リスト）の顔のイメージ情報と、顔認識カメラ２２０が撮像した顔画像とを比較し、マッチング（一致）する人物を検索することで、顧客が不審者か否か判定する。
　続いて、顧客がカート／カゴ以外へ商品を入れるなど不審動作を行う（Ｓ１０３）。そうすると、棚近傍の３Ｄカメラ２１０が顧客の手元を撮像し、セキュリティ装置１００が、３Ｄカメラ２１０の距離画像により顧客の手元の動きを認識する（Ｓ１０４）。すなわち、セキュリティ装置１００の距離画像解析部１１０は、顧客の手元を撮像した距離画像をトラッキングし、顧客が商品を手に取り不正な場所へ入れたことを認識する。
　続いて、セキュリティ装置１００は、Ｓ１０４で認識した顧客の手元の動作に基づいて不審行為を判定し、店員端末・警備端末などの警告装置２４０へ警告を表示、記録を行う（Ｓ１０５）。すなわち、セキュリティ装置１００の警告情報生成部１４０は、判定した不審動作を示す警告情報を生成し出力する。また、警告情報生成部１４０は、Ｓ１０２で認識した不審者に基づいた警告情報を生成して出力する。
　また、顧客の他に、店員がレジカウンターに近づき（Ｓ１０６）、レジ以外へ金銭を入れるなど不審行動を行う（Ｓ１０７）。そうすると、上記顧客の動作の場合と同様に、セキュリティ装置１００が、３Ｄカメラ２１０の距離画像により店員の手元の動きを認識し（Ｓ１０４）、警告装置２４０へ警告を表示、記録を行う（Ｓ１０５）。
　図６は、図５のＳ１０４における距離画像解析部１１０で実行される認識処理（トラッキング処理）の詳細を示している。なお、図６の処理は一例であり、その他の画像解析処理により、手元の動作を認識してもよく、同様に、人物の顔や視線、商品や金銭などを検出してもよい。
　図６に示すように、まず、距離画像取得部１１１は、３Ｄカメラ２１０から顧客または店員を含む距離画像を取得する（Ｓ２０１）。続いて、領域検出部１１２は、Ｓ２０１で取得した距離画像に含まれる顧客または店員の人物を検出し（Ｓ２０２）、さらに人物の各領域の領域を検出する（Ｓ２０３）。例えば、領域検出部１１２は、ＳＶＭ（Support Vector Machine）などの識別器を用いて、距離画像に含まれる画像及び距離に基づき、人物（顧客または店員）を検出し、検出した人物の関節を推定することで、人物の骨格を検出する。領域検出部１１２は、検出した骨格に基づいて、人物の手（手元）などの各部の領域を検出する。
　続いて、手元トラッキング部１１３は、Ｓ２０３で検出した顧客または店員の手元の動作をトラッキングする（Ｓ２０４）。手元トラッキング部１１３は、距離画像に含まれる画像及び距離に基づいて、顧客の手の周辺の骨格をトラッキングし、手の指や手のひらの動作を検出する。
　続いて、手元動作認識部１１４は、Ｓ２０４でトラッキングした手元の動作に基づいて、手元の動作の特徴を抽出し（Ｓ２０５）、抽出した特徴に基づいて、顧客や店員の不審動作を認識する（Ｓ２０６）。手元動作認識部１１４は、指、手のひら（手首）の向き、角度、移動量の変化を特徴量として抽出する。
　例えば、手元動作認識部１１４は、指の角度から顧客が商品を握っていることを検出し、また、手を服のポケットに近づけた状態で指を商品から離した場合、顧客が商品を服のポケットに入れたことを検出する。そして、手元動作認識部１１４は、検出した動作のパターンと、不審動作情報ＤＢ１５０の商品不正取得パターン１５１、商品不正改変パターン１５２、金銭不正取得パターン１５３とを比較し、これらの動作パターンに該当する場合、不審動作であると判定する。また、商品不正取得パターン１５１、商品不正改変パターン１５２、金銭不正取得パターン１５３の画像の特徴を予め学習しておき、学習した特徴量と検出した特徴量を比較することで、手元の状態を識別してもよい。
　図７は、図５のＳ１０４及びＳ１０５において実行される警告出力処理の詳細を示している。
　図７に示すように、まず、距離画像解析部１１０において、顧客または店員が不審動作を行ったか否か判断する（Ｓ３０１）。例えば、顧客が、商品をポケット・手持ち袋など、商品カゴ・カート以外に入れる動作や、商品を壊す、傷を付ける、異物を混入する、配置を不正に変える等の動作を判断する。また、店員が、売上を着服する、商品を横領(ポケットなどへ金銭を入れる)する、正規の代金を受け取らずに共謀する顧客に商品を渡す等の動作を判断する。その他、不審動作として、頻繁に周りを見回す、パチンコ台に細工・不正操作する、ＡＴＭ（Automated Teller Machine）にスキミング機器を取り付ける、レジや電子マネー装置の不正操作、公金収納／チケット発行などでの正規プロセスを逸脱する動作などを検出してもよい。顧客または店員が該当する動作を行った場合、動作に応じた警告情報を出力するため、以下の処理を行う。
　すなわち、警告情報生成部１４０は、不審者情報を取得し（Ｓ３０２）、店内の混雑状況を取得する（Ｓ３０３）。警告情報生成部１４０は、顔認識カメラ２２０の顔画像による人物認識結果に基づいた警告情報を提供するため、人物認識部１２０から顧客が不審者か否かを示す不審者情報を取得する。また、警告情報生成部１４０は、店内カメラ２３０の店内画像による混雑状況解析結果に基づいた警告情報を提供するため、店内状況解析部１３０から店内の混雑状況を取得する。なお、顧客を認識する前や、混雑状況を解析する前、各情報が不要な場合においては、不審者情報の取得や混雑状況の取得は省略してもよい。
　続いて、警告情報生成部１４０は、検出した顧客または店員の不審動作に対して不審レベルを判定する（Ｓ３０４）。例えば、不審動作情報ＤＢ１５０の不審動作パターンごとに不審レベルが割り当てられており、不審動作情報ＤＢ１５０を参照して不審レベルを決定する。
　図８は、不審動作に対する不審レベルの例を示している。例えば、図８に示すように、不審レベル１～５の間でレベルを設定する。例えば、不審レベルが大きいほど、不正行為である疑いが強い。
　一例として、顧客の動作が、商品不正取得パターンの「商品を不正場所に入れた」に該当する場合、不審動作情報ＤＢ１５０を参照して不審レベル３とする。そして、他のパラメータを考慮して不審レベルを調整する。
　例えば、不審動作の時間が短い場合や、商品が大量の場合、商品が高額の場合、万引きの可能性が高い。このため、動作時間、商品数、商品の値段について閾値を設定する。この閾値よりも時間が短い場合や、商品数が多い場合、商品の値段が高い場合には、閾値を超える量に応じて不審レベルを大きくし、閾値よりも時間が長い場合や、商品数が少ない場合、商品の値段が安い場合には、閾値を下回る量に応じて不審レベルを小さくする。
　同様に、顧客の動作が、商品不正改変パターンの「商品を傷つけた」、「商品箱を開けた」、「商品箱を変形させた」に該当する場合、不審動作情報ＤＢ１５０を参照して不審レベル３とする。そして、他のパラメータを考慮して不審レベルを調整する。
　例えば、傷が大きい場合や商品箱が変形している場合、不審動作の時間が短い場合、商品が大量の場合、商品が高額の場合、悪質である可能性が高い。このため、傷の大きさ（割合）、動作時間、商品数、商品の値段について閾値を設定する。この閾値よりも傷が大きい場合や、時間が短い場合、商品数が多い場合、商品の値段が高い場合には、閾値を超える量に応じて不審レベルを大きくし、閾値よりも傷が小さい場合や、時間が長い場合、商品数が少ない場合、商品の値段が安い場合には、閾値を下回る量に応じて不審レベルを小さくする。
　同様に、店員の動作が、金銭不正取得パターンの「金銭を不正場所に移動した」に該当する場合、不審動作情報ＤＢ１５０を参照して不審レベル３とする。そして、他のパラメータを考慮して不審レベルを調整する。
　例えば、不審動作の時間が短い場合や、高額の場合、横領である可能性が高い。このため、動作時間、金額について閾値を設定する。この閾値よりも時間が短い場合や、金額が高い場合には、閾値を超える量に応じて不審レベルを大きくし、閾値よりも時間が長い場合や、金額が安い場合には、閾値を下回る量に応じて不審レベルを小さくする。
　さらに、顧客が不審者の場合や、店内の状況が混雑／閑散の場合には、不審動作を行う可能性が高いため、不審レベルを大きくする。その他、顧客や店員が周りを見回すような行為の場合に、不審レベルを大きくしてもよい。
　なお、ここでは、不審動作を検出した場合に、不審者や店内の状況に基づいて不審レベルを判定するが、不審動作の検出前に考慮してもよい。例えば、顧客が不審者の場合や、店内の状況が混雑／閑散の場合、開いた袋を持っていた場合などに、不審動作を未検出でも警告情報（注意情報）を出力してもよい。また、この場合に、不審動作検出の閾値（例えば不審動作を検出するまでの時間など）を下げて、不審動作を検出しやすいようにしてもよい。
　続いて、警告情報生成部１４０は、判定結果に基づいて警告情報を出力する（Ｓ３０５）。警告情報生成部１４０は、検出した不審動作と、判定した不審レベルを警告装置２４０へ出力する。例えば、不審レベルに基づいて警告情報の出力を制御してもよい。不審レベルが所定値よりも小さい場合、警告が不要であるため、警告装置２４０へ出力しなくてもよく、また、この場合、警告装置２４０で表示せずに記録のみを行ってもよい。
　また、不審動作及び不審レベルを３Ｄ動画情報に記録してもよい。不審レベルを記録しておくことで、不審レベルの高い部分の前後のみを抽出して確認することができ、３Ｄ動画の内容を効率よく確認することができる。
　以上のように、本実施の形態では、商品棚やレジの前の顧客（ショッパー）や店員が見える位置に配置した３Ｄカメラにより顧客や店員の手元の動きを観察し、顧客や店員の不審な動作を認識する。そして、不審動作を認識すると棚・レジ・警備員室・店内の従業員端末などに警告情報（アラーム）を通知し、また動作を記録する。
　これにより、３Ｄカメラにより手の動きが精密に把握でき、商品を不正に取得したり、商品を不正に改変したり、金銭を不正に取得したりするなどの動作を把握できるため、精度良く不審動作を検出し、不審動作に応じた警告情報を出力することができる。したがって、不審動作／不正行為の監視を自動化し、効率的にセキュリティ強化が図れ、利益率を向上することができる。
（実施の形態２）
　以下、図面を参照して実施の形態２について説明する。本実施の形態は、実施の形態１における不審動作認識の補完として、正常動作情報パターンからの外れ動作を検知することで、不審動作を検知する例である。すなわち、実施の形態１の例に限らず、店員が、売上を着服する、商品を横領(ポケットなどへ金銭を入れる)する、正規の代金を受け取らずに共謀する顧客に商品を渡す等の動作を検知するのでは無く、店員の通常のレジ作業等の動作からの逸脱を検知することで、不審動作と判定してもよい。
　図９は、本実施の形態に係るセキュリティシステムの構成を示している。図９に示すように、本実施の形態では、実施の形態１の図２の構成に対して、セキュリティ装置１００がさらに正常動作情報ＤＢ１８０を備えている。
　正常動作情報ＤＢ１８０は、顧客や店員による正常な動作を示す正常動作パターン（正常動作パターン情報）を記憶する。正常動作情報ＤＢ１８０は、正常動作パターンとして、例えば、商品正常取得パターン１８１、商品正常変更パターン１８２、金銭正常取得パターン１８３などを記憶する。
　商品正常取得パターン１８１は、商品を正常に取得する動作のパターン情報であり、例えば、顧客が商品をカゴやカートに入れる動作などを含む。商品正常変更パターン１８２は、商品を正常に変更する動作のパターン情報であり、例えば、店員が商品の陳列を変更する動作などを含む。金銭正常取得パターン１８３は、金銭を正常に取得する動作のパターン情報であり、例えば、店員の通常のレジ作業動作、店員が金銭をレジから顧客へ渡す動作などを含む。
　図１０は、本実施の形態に係るセキュリティ装置１００の距離画像解析部１１０の構成を示している。図１０に示すように、本実施の形態では、実施の形態１の図４の構成に対して、さらに外れ行動検知部１１５を備えている。
　外れ行動検知部１１５は、手元トラッキング部１１３がトラッキングした手元（手）の動作に基づいて、顧客や店員の動作が正常動作から外れている（不審動作）か否かを検出する。外れ行動検知部１１５は、正常動作情報ＤＢ１８０を参照し、検出した顧客や店員の動作と商品正常取得パターン１８１、商品正常変更パターン１８２、金銭正常取得パターン１８３とを比較し、顧客や店員の動作がこれらの動作パターンに該当しない場合、不審動作であると判定する。例えば、正常動作パターンから外れている度合（不一致の度合）に応じて不審レベルを設定してもよい。
　また、不正動作パターンを用いた手元動作認識部１１４による検出結果と正常動作パターンを用いた外れ行動検知部１１５による検出結果の両方を考慮して不審動作を判定してもよい。例えば、手元動作認識部１１４と外れ行動検知部１１５のいずれかが不審と判定した場合に、不審動作であると決定してもよいし、手元動作認識部１１４と外れ行動検知部１１５の両方が不審と判定した場合に、不審動作であると決定してもよい。
　以上のように、実施の形態１における不正動作パターンを用いた不審動作検出に限らず、顧客や店員の動作が正常動作パターンから外れているか否かに基づいて不審動作を検出することにより、さらに精度よく不審動作を検出することができる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１３年９月６日に出願された日本出願特願２０１３－１８５１３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１、１０　　セキュリティシステム
１１　　　画像情報取得部
１２　　　トラッキング部
１３　　　不審動作検出部
１００　　セキュリティ装置
１１０　　距離画像解析部
１１１　　距離画像取得部
１１２　　領域検出部
１１３　　手元トラッキング部
１１４　　手元動作認識部
１１５　　外れ行動検知部
１２０　　人物認識部
１３０　　店内状況解析部
１４０　　警告情報生成部
１５０　　不審動作情報ＤＢ
１５１　　商品不正取得パターン
１５２　　商品不正改変パターン
１５３　　金銭不正取得パターン
１６０　　動画情報記録部
１７０　　不審者情報ＤＢ
１８０　　正常動作情報ＤＢ
１８１　　商品正常取得パターン
１８２　　商品正常変更パターン
１８３　　金銭正常取得パターン
２１０　　３Ｄカメラ
２２０　　顔認識カメラ
２３０　　店内カメラ
２４０　　警告装置
３００　　商品棚
３０１　　商品
３０２　　金銭
３１０　　レジカウンター
３１１　　レジ
４００　　顧客
４１０　　店員

Claims (15)

  1. 　店舗内の人物を撮像した入力画像情報を取得する画像情報取得手段と、
    　前記入力画像情報に基づいて、前記人物の手の動作をトラッキングするトラッキング手段と、
    　前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する不審動作検出手段と、
    　を備えるセキュリティシステム。
  2. 　前記入力画像情報は、対象を撮像した画像情報と前記対象までの距離を計測した距離情報を含む距離画像情報である、
    　請求項１に記載のセキュリティシステム。
  3. 　前記不審動作検出手段は、前記手の動作に基づいて、前記人物が商品を不正に取得する動作を検出する、
    　請求項１または２に記載のセキュリティシステム。
  4. 　前記不審動作検出手段は、前記手の動作に基づいて、前記人物が商品を不正に改変する動作を検出する、
    　請求項１乃至３のいずれか一項に記載のセキュリティシステム。
  5. 　前記不審動作検出手段は、前記手の動作に基づいて、前記人物が金銭を不正に取得する動作を検出する、
    　請求項１乃至４のいずれか一項に記載のセキュリティシステム。
  6. 　前記不審動作検出手段は、前記検出した不審動作に応じた不審レベルを判定する、
    　請求項１乃至５のいずれか一項に記載のセキュリティシステム。
  7. 　前記不審動作検出手段は、前記不審動作の動作時間の長さに応じて前記不審レベルを判定する、
    　請求項６に記載のセキュリティシステム。
  8. 　前記不審動作検出手段は、前記不審動作に関する商品の数に応じて前記不審レベルを判定する、
    　請求項６または７に記載のセキュリティシステム。
  9. 　前記不審動作検出手段は、前記不審動作に関する金額に応じて前記不審レベルを判定する、
    　請求項６乃至８のいずれか一項に記載のセキュリティシステム。
  10. 　前記不審動作検出手段は、前記人物が不審者であるか否かに応じて前記不審レベルを判定する、
    　請求項６乃至９のいずれか一項に記載のセキュリティシステム。
  11. 　前記不審動作検出手段は、前記店舗の混雑状況に応じて前記不審レベルを判定する、
    　請求項６乃至１０のいずれか一項に記載のセキュリティシステム。
  12. 　前記検出された不審動作に応じて警告を出力する警告出力手段を備える、
    　請求項１乃至１１のいずれか一項に記載のセキュリティシステム。
  13. 　前記判定された不審レベルに応じて、前記不審動作の警告を出力する警告出力手段を備える、
    　請求項６乃至１１のいずれか一項に記載のセキュリティシステム。
  14. 　店舗内の人物を撮像した入力画像情報を取得し、
    　前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、
    　前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する、
    　セキュリティ方法。
  15. 　店舗内の人物を撮像した入力画像情報を取得し、
    　前記入力画像情報に基づいて、前記人物の手の動作をトラッキングし、
    　前記トラッキングした手の動作に基づいて、前記人物の不審動作を検出する、
    　セキュリティ処理をコンピュータに実行させるためのセキュリティプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2014/004583 2013-09-06 2014-09-05 セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体 WO2015033576A1 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201480048366.4A CN105518755A (zh) 2013-09-06 2014-09-05 安全系统、安全方法和非暂时性计算机可读介质
JP2015535321A JP6249021B2 (ja) 2013-09-06 2014-09-05 セキュリティシステム、セキュリティ方法及びセキュリティプログラム
US14/916,702 US20160210829A1 (en) 2013-09-06 2014-09-05 Security system, security method, and non-transitory computer readable medium
US16/126,818 US11354991B2 (en) 2013-09-06 2018-09-10 Security system, security method, and non-transitory computer readable medium
US16/126,777 US10573141B2 (en) 2013-09-06 2018-09-10 Security system, security method, and non-transitory computer readable medium
US16/126,729 US20190005785A1 (en) 2013-09-06 2018-09-10 Security system, security method, and non-transitory computer readable medium
US17/743,647 US11688256B2 (en) 2013-09-06 2022-05-13 Security system, security method, and non-transitory computer readable medium
US18/197,397 US12039844B2 (en) 2013-09-06 2023-05-15 Security system, security method, and non-transitory computer readable medium
US18/675,341 US20240321071A1 (en) 2013-09-06 2024-05-28 Security system, security method, and non-transitory computer readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-185130 2013-09-06
JP2013185130 2013-09-06

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US14/916,702 A-371-Of-International US20160210829A1 (en) 2013-09-06 2014-09-05 Security system, security method, and non-transitory computer readable medium
US16/126,777 Continuation US10573141B2 (en) 2013-09-06 2018-09-10 Security system, security method, and non-transitory computer readable medium
US16/126,729 Continuation US20190005785A1 (en) 2013-09-06 2018-09-10 Security system, security method, and non-transitory computer readable medium
US16/126,818 Continuation US11354991B2 (en) 2013-09-06 2018-09-10 Security system, security method, and non-transitory computer readable medium

Publications (1)

Publication Number Publication Date
WO2015033576A1 true WO2015033576A1 (ja) 2015-03-12

Family

ID=52628072

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/004583 WO2015033576A1 (ja) 2013-09-06 2014-09-05 セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体

Country Status (4)

Country Link
US (7) US20160210829A1 (ja)
JP (1) JP6249021B2 (ja)
CN (2) CN105518755A (ja)
WO (1) WO2015033576A1 (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016194759A (ja) * 2015-03-31 2016-11-17 綜合警備保障株式会社 警備システム及び警備方法
JP2017062594A (ja) * 2015-09-24 2017-03-30 日本電気株式会社 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム
JP2017097599A (ja) * 2015-11-24 2017-06-01 宮田　清蔵 例外行動顧客の判定方法及び例外行動顧客の判定装置
JP2017146957A (ja) * 2016-02-19 2017-08-24 トヨタ自動車株式会社 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化
JP2018018150A (ja) * 2016-07-25 2018-02-01 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット
JP2018026131A (ja) * 2016-08-09 2018-02-15 ダンロップスポーツ株式会社 動作解析装置
JP2018037075A (ja) * 2016-08-29 2018-03-08 パナソニックＩｐマネジメント株式会社 不審者通報システム及び不審者通報方法
JP2018181159A (ja) * 2017-04-19 2018-11-15 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット
WO2019171573A1 (ja) * 2018-03-09 2019-09-12 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
WO2019225232A1 (ja) * 2018-05-23 2019-11-28 株式会社日立製作所 監視装置、監視システムおよび監視方法
JP2020077328A (ja) * 2018-11-09 2020-05-21 セコム株式会社 店舗装置
JP2020077330A (ja) * 2018-11-09 2020-05-21 セコム株式会社 店舗装置
JP2020154730A (ja) * 2019-03-20 2020-09-24 アースアイズ株式会社 監視装置、監視システム、及び、監視方法
JP2020182146A (ja) * 2019-04-26 2020-11-05 アースアイズ株式会社 監視装置、及び、監視方法
JP2020184197A (ja) * 2019-05-08 2020-11-12 株式会社オレンジテクラボ 情報処理装置、画像撮影装置、情報処理プログラム及び画像撮影プログラム
JPWO2021033597A1 (ja) * 2019-08-20 2021-02-25
JP2021073595A (ja) * 2021-01-26 2021-05-13 日本電気株式会社 情報処理システム、情報処理方法、及びプログラム
JP2021081804A (ja) * 2019-11-14 2021-05-27 株式会社リコー 状態認識装置、状態認識方法及び状態認識プログラム
JP2021166399A (ja) * 2020-01-15 2021-10-14 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JP2022036983A (ja) * 2018-03-09 2022-03-08 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
WO2022092032A1 (ja) * 2020-10-30 2022-05-05 株式会社Vaak 行動推定装置、行動推定方法、プログラム及び行動推定システム
JP7085257B1 (ja) 2022-03-17 2022-06-16 株式会社Iso 動画解析サービス提供システム、動画解析サービス提供プログラム、及び動画解析サービス提供方法
JP2022190576A (ja) * 2021-06-14 2022-12-26 東芝テック株式会社 防犯システムおよびプログラム
JPWO2023275968A1 (ja) * 2021-06-29 2023-01-05
JP2023007363A (ja) * 2021-06-30 2023-01-18 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
JPWO2023152825A1 (ja) * 2022-02-09 2023-08-17
EP4386661A4 (en) * 2021-08-12 2024-10-09 Sony Semiconductor Solutions Corporation Behavior analysis device, behavior analysis method, behavior analysis program, imaging device and behavior analysis system
JP2024177934A (ja) * 2023-06-12 2024-12-24 株式会社寺岡精工 情報処理装置及びプログラム

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015033576A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体
US20150206188A1 (en) * 2014-01-17 2015-07-23 Panasonic Intellectual Property Corporation Of America Item presentation method, and information display method
JP6197952B2 (ja) * 2014-05-12 2017-09-20 富士通株式会社 商品情報出力方法、商品情報出力プログラムおよび制御装置
US20180002109A1 (en) * 2015-01-22 2018-01-04 Nec Corporation Shelf space allocation management device and shelf space allocation management method
US10360572B2 (en) * 2016-03-07 2019-07-23 Ricoh Company, Ltd. Image processing system, method and computer program product for evaluating level of interest based on direction of human action
JP6662141B2 (ja) * 2016-03-25 2020-03-11 富士ゼロックス株式会社 情報処理装置及びプログラム
GB2557920B (en) * 2016-12-16 2020-03-04 Canon Kk Learning analytics
SG10201610686SA (en) * 2016-12-20 2018-07-30 Mastercard International Inc Systems and methods for processing a payment transaction authorization request
JP6981463B2 (ja) * 2017-03-06 2021-12-15 日本電気株式会社 商品監視装置、商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム
WO2018204837A1 (en) * 2017-05-05 2018-11-08 Walmart Apollo, Llc System and method for automatically restocking items on shelves using a conveyor system
CN107886667A (zh) * 2017-10-11 2018-04-06 深圳云天励飞技术有限公司 报警方法及装置
JP2019133437A (ja) * 2018-01-31 2019-08-08 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法、及び、プログラム
RU2679218C1 (ru) * 2018-02-06 2019-02-06 Акционерное общество Научно-производственный центр "Электронные вычислительно-информационные системы" (АО НПЦ "ЭЛВИС") Система и способ контроля перемещения людей
CN108805495A (zh) * 2018-05-31 2018-11-13 京东方科技集团股份有限公司 物品存放管理方法和系统及计算机可读介质
CN108921098B (zh) * 2018-07-03 2020-08-18 百度在线网络技术（北京）有限公司 人体运动分析方法、装置、设备及存储介质
US11521460B2 (en) 2018-07-25 2022-12-06 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
US10878657B2 (en) 2018-07-25 2020-12-29 Konami Gaming, Inc. Casino management system with a patron facial recognition system and methods of operating same
CN109271847B (zh) * 2018-08-01 2023-04-07 创新先进技术有限公司 无人结算场景中异常检测方法、装置及设备
CN109308780A (zh) * 2018-10-19 2019-02-05 杭州虹晟信息科技有限公司 基于物联网的智能家居安防监控系统
JP7408300B2 (ja) * 2019-06-04 2024-01-05 東芝テック株式会社 店舗管理装置、電子レシートシステム及び制御プログラム
EP3839855B1 (de) * 2019-12-17 2024-04-03 Diebold Nixdorf Systems GmbH Selbstbedienungs-registrierterminal und verfahren
JP7514770B2 (ja) * 2021-01-14 2024-07-11 東芝テック株式会社 不正行為認識装置及びその制御プログラム、不正行為認識方法
JP7318679B2 (ja) * 2021-07-30 2023-08-01 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
JP7318680B2 (ja) 2021-07-30 2023-08-01 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
JP7658237B2 (ja) * 2021-09-29 2025-04-08 富士通株式会社 推定プログラム、推定方法、および推定装置
CN114708696B (zh) * 2022-04-02 2023-06-16 河南大学 基于上肢微动作识别的电梯轿厢扒窃行为监控方法及系统
KR102810148B1 (ko) * 2022-04-28 2025-05-19 한국정보통신주식회사 무인점포에 비치된 상품의 도난을 방지하는 전자장치 및 이의 동작방법
JP2024089579A (ja) * 2022-12-21 2024-07-03 富士通株式会社 アラート出力プログラム、アラート出力方法及び情報処理装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61260391A (ja) * 1985-05-14 1986-11-18 三菱電機株式会社 監視制御装置
JPS62115388A (ja) * 1985-11-14 1987-05-27 Matsushita Electric Works Ltd 測距型異常監視センサ
US6421462B1 (en) * 1998-02-06 2002-07-16 Compaq Computer Corporation Technique for differencing an image
US20040120581A1 (en) * 2002-08-27 2004-06-24 Ozer I. Burak Method and apparatus for automated video activity analysis
JP2010238186A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 監視装置及び監視方法
JP2012032910A (ja) * 2010-07-29 2012-02-16 Secom Co Ltd 通報装置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7036094B1 (en) * 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
EP1406671A1 (en) 2001-03-12 2004-04-14 Sub Q, Inc. Methods for sterilizing cross-linked gelatin compositions
US20050108063A1 (en) * 2003-11-05 2005-05-19 Madill Robert P.Jr. Systems and methods for assessing the potential for fraud in business transactions
US7631808B2 (en) * 2004-06-21 2009-12-15 Stoplift, Inc. Method and apparatus for detecting suspicious activity using video analysis
EP1872307A4 (en) * 2005-03-29 2012-10-03 Stoplift Inc METHOD AND APPARATUS FOR DETECTING SUSPICENT ACTIVITY USING VIDEO ANALYSIS
US9036028B2 (en) * 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
WO2008008505A2 (en) * 2006-07-14 2008-01-17 Objectvideo, Inc. Video analytics for retail business process monitoring
JP2008257487A (ja) * 2007-04-05 2008-10-23 Multi Solution:Kk 顔認証応用万引き検知システム
US7844105B2 (en) * 2007-04-23 2010-11-30 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining objects poses from range images
JP2009009231A (ja) 2007-06-26 2009-01-15 Toshiba Corp セキュリティ管理システムおよびセキュリティ管理方法
JP4972491B2 (ja) 2007-08-20 2012-07-11 株式会社構造計画研究所 顧客動作判定システム
US20090055205A1 (en) * 2007-08-23 2009-02-26 Igt Multimedia player tracking infrastructure
WO2009054119A1 (ja) * 2007-10-26 2009-04-30 Panasonic Corporation 状況判定装置、状況判定方法、状況判定プログラム、異常判定装置、異常判定方法、異常判定プログラムおよび混雑推定装置
JP2010094332A (ja) 2008-10-17 2010-04-30 Okamura Corp 商品陳列装置
CN101794481A (zh) * 2009-02-04 2010-08-04 深圳市先进智能技术研究所 Atm自助银行监控系统和方法
US20110063108A1 (en) * 2009-09-16 2011-03-17 Seiko Epson Corporation Store Surveillance System, Alarm Device, Control Method for a Store Surveillance System, and a Program
JP5540622B2 (ja) 2009-09-16 2014-07-02 セイコーエプソン株式会社 レシートプリンター、レシートプリンターの制御方法およびプログラム
JP2011108769A (ja) 2009-11-16 2011-06-02 Yokogawa Electric Corp 半導体装置
JP2011108169A (ja) * 2009-11-20 2011-06-02 Ishida Co Ltd 店舗管理システム
JP5655928B2 (ja) * 2011-03-07 2015-01-21 富士通株式会社 商品決済チェックシステム、登録／決済装置、確認装置及び商品決済チェック方法
US20140347479A1 (en) * 2011-11-13 2014-11-27 Dor Givon Methods, Systems, Apparatuses, Circuits and Associated Computer Executable Code for Video Based Subject Characterization, Categorization, Identification, Tracking, Monitoring and/or Presence Response
US9247211B2 (en) * 2012-01-17 2016-01-26 Avigilon Fortress Corporation System and method for video content analysis using depth sensing
US9412180B2 (en) * 2012-01-17 2016-08-09 Sony Corporation Information processing apparatus, information processing method, and program
CN102881100B (zh) * 2012-08-24 2017-07-07 济南纳维信息技术有限公司 基于视频分析的实体店面防盗监控方法
US9165190B2 (en) * 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
CN202995945U (zh) * 2012-12-08 2013-06-12 南通纺织职业技术学院 一种智能防盗系统
US9443148B2 (en) * 2013-03-15 2016-09-13 International Business Machines Corporation Visual monitoring of queues using auxiliary devices
US9589433B1 (en) * 2013-07-31 2017-03-07 Jeff Thramann Self-checkout anti-theft device
WO2015033576A1 (ja) * 2013-09-06 2015-03-12 日本電気株式会社 セキュリティシステム、セキュリティ方法及び非一時的なコンピュータ可読媒体
CN106462725A (zh) * 2014-01-07 2017-02-22 Arb实验室公司 监测游戏场所的活动的系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61260391A (ja) * 1985-05-14 1986-11-18 三菱電機株式会社 監視制御装置
JPS62115388A (ja) * 1985-11-14 1987-05-27 Matsushita Electric Works Ltd 測距型異常監視センサ
US6421462B1 (en) * 1998-02-06 2002-07-16 Compaq Computer Corporation Technique for differencing an image
US20040120581A1 (en) * 2002-08-27 2004-06-24 Ozer I. Burak Method and apparatus for automated video activity analysis
JP2010238186A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 監視装置及び監視方法
JP2012032910A (ja) * 2010-07-29 2012-02-16 Secom Co Ltd 通報装置

Cited By (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016194759A (ja) * 2015-03-31 2016-11-17 綜合警備保障株式会社 警備システム及び警備方法
JP2017062594A (ja) * 2015-09-24 2017-03-30 日本電気株式会社 迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラム
JP2017097599A (ja) * 2015-11-24 2017-06-01 宮田　清蔵 例外行動顧客の判定方法及び例外行動顧客の判定装置
JP2017146957A (ja) * 2016-02-19 2017-08-24 トヨタ自動車株式会社 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化
JP2018018150A (ja) * 2016-07-25 2018-02-01 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット
JP7057959B2 (ja) 2016-08-09 2022-04-21 住友ゴム工業株式会社 動作解析装置
JP2018026131A (ja) * 2016-08-09 2018-02-15 ダンロップスポーツ株式会社 動作解析装置
JP2018037075A (ja) * 2016-08-29 2018-03-08 パナソニックＩｐマネジメント株式会社 不審者通報システム及び不審者通報方法
JP2018181159A (ja) * 2017-04-19 2018-11-15 ユニティガードシステム株式会社 防犯システム、防犯方法、及びロボット
JP7568004B2 (ja) 2018-03-09 2024-10-16 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP2023153148A (ja) * 2018-03-09 2023-10-17 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
US11922482B2 (en) 2018-03-09 2024-03-05 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
JP7327458B2 (ja) 2018-03-09 2023-08-16 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
US12141856B2 (en) 2018-03-09 2024-11-12 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
WO2019171573A1 (ja) * 2018-03-09 2019-09-12 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
US12205159B2 (en) 2018-03-09 2025-01-21 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
US12165191B2 (en) 2018-03-09 2024-12-10 Nec Corporation Self-checkout system, purchased product management method, and purchased product management program
JPWO2019171573A1 (ja) * 2018-03-09 2021-01-14 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP2022036983A (ja) * 2018-03-09 2022-03-08 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
JP6992874B2 (ja) 2018-03-09 2022-01-13 日本電気株式会社 セルフレジシステム、購入商品管理方法および購入商品管理プログラム
WO2019225232A1 (ja) * 2018-05-23 2019-11-28 株式会社日立製作所 監視装置、監視システムおよび監視方法
JP2019204259A (ja) * 2018-05-23 2019-11-28 株式会社日立製作所 監視装置、監視システムおよび監視方法
JP7134708B2 (ja) 2018-05-23 2022-09-12 株式会社日立製作所 監視装置、監視システムおよび監視方法
JP2020077330A (ja) * 2018-11-09 2020-05-21 セコム株式会社 店舗装置
JP2020077328A (ja) * 2018-11-09 2020-05-21 セコム株式会社 店舗装置
JP7161920B2 (ja) 2018-11-09 2022-10-27 セコム株式会社 店舗装置
JP7138547B2 (ja) 2018-11-09 2022-09-16 セコム株式会社 店舗装置
JP2020154730A (ja) * 2019-03-20 2020-09-24 アースアイズ株式会社 監視装置、監視システム、及び、監視方法
WO2020189313A1 (ja) * 2019-03-20 2020-09-24 アースアイズ株式会社 監視装置、監視システム、及び、監視方法
JP2020182146A (ja) * 2019-04-26 2020-11-05 アースアイズ株式会社 監視装置、及び、監視方法
JP2020184197A (ja) * 2019-05-08 2020-11-12 株式会社オレンジテクラボ 情報処理装置、画像撮影装置、情報処理プログラム及び画像撮影プログラム
JP7337354B2 (ja) 2019-05-08 2023-09-04 株式会社オレンジテクラボ 情報処理装置及び情報処理プログラム
JPWO2021033597A1 (ja) * 2019-08-20 2021-02-25
WO2021033597A1 (ja) * 2019-08-20 2021-02-25 コニカミノルタ株式会社 画像処理システム、画像処理プログラム、および画像処理方法
JP7388440B2 (ja) 2019-08-20 2023-11-29 コニカミノルタ株式会社 画像処理システム、画像処理プログラム、および画像処理方法
JP2021081804A (ja) * 2019-11-14 2021-05-27 株式会社リコー 状態認識装置、状態認識方法及び状態認識プログラム
JP7487888B2 (ja) 2020-01-15 2024-05-21 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
JP2022003529A (ja) * 2020-01-15 2022-01-11 日本電気株式会社 情報処理装置、情報処理方法、プログラム
JP2021166399A (ja) * 2020-01-15 2021-10-14 日本電気株式会社 画像処理システム、画像処理方法及びプログラム
WO2022092032A1 (ja) * 2020-10-30 2022-05-05 株式会社Vaak 行動推定装置、行動推定方法、プログラム及び行動推定システム
JP2022072825A (ja) * 2020-10-30 2022-05-17 株式会社Vaak 行動推定装置、行動推定方法、プログラム及び行動推定システム
JP2022073882A (ja) * 2020-10-30 2022-05-17 株式会社Vaak 行動推定装置、行動推定方法、プログラム及び行動推定システム
JP7649934B2 (ja) 2020-10-30 2025-03-24 株式会社Vaak 行動推定装置、行動推定方法、プログラム及び行動推定システム
JP7054075B2 (ja) 2021-01-26 2022-04-13 日本電気株式会社 情報処理システム、情報処理方法、及びプログラム
JP2021073595A (ja) * 2021-01-26 2021-05-13 日本電気株式会社 情報処理システム、情報処理方法、及びプログラム
JP2022190576A (ja) * 2021-06-14 2022-12-26 東芝テック株式会社 防犯システムおよびプログラム
JP7491472B2 (ja) 2021-06-29 2024-05-28 日本電信電話株式会社 異常判定装置、異常判定方法、及び異常判定プログラム
JPWO2023275968A1 (ja) * 2021-06-29 2023-01-05
WO2023275968A1 (ja) * 2021-06-29 2023-01-05 日本電信電話株式会社 異常判定装置、異常判定方法、及び異常判定プログラム
JP7318753B2 (ja) 2021-06-30 2023-08-01 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
JP2023007363A (ja) * 2021-06-30 2023-01-18 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
EP4386661A4 (en) * 2021-08-12 2024-10-09 Sony Semiconductor Solutions Corporation Behavior analysis device, behavior analysis method, behavior analysis program, imaging device and behavior analysis system
WO2023152825A1 (ja) * 2022-02-09 2023-08-17 日本電気株式会社 動作評価システム、動作評価方法、及び非一時的なコンピュータ可読媒体
JPWO2023152825A1 (ja) * 2022-02-09 2023-08-17
JP2023136747A (ja) * 2022-03-17 2023-09-29 株式会社Iso 動画解析サービス提供システム、動画解析サービス提供プログラム、及び動画解析サービス提供方法
JP7085257B1 (ja) 2022-03-17 2022-06-16 株式会社Iso 動画解析サービス提供システム、動画解析サービス提供プログラム、及び動画解析サービス提供方法
JP2024177934A (ja) * 2023-06-12 2024-12-24 株式会社寺岡精工 情報処理装置及びプログラム

Also Published As

Publication number Publication date
US20240321071A1 (en) 2024-09-26
US10573141B2 (en) 2020-02-25
US20230282084A1 (en) 2023-09-07
CN105518755A (zh) 2016-04-20
CN111723668A (zh) 2020-09-29
US20220270455A1 (en) 2022-08-25
US20190005787A1 (en) 2019-01-03
US20190005785A1 (en) 2019-01-03
US11354991B2 (en) 2022-06-07
JP6249021B2 (ja) 2017-12-20
US12039844B2 (en) 2024-07-16
US20190005786A1 (en) 2019-01-03
JPWO2015033576A1 (ja) 2017-03-02
US20160210829A1 (en) 2016-07-21
US11688256B2 (en) 2023-06-27

Similar Documents

Publication Publication Date Title
JP6249021B2 (ja) セキュリティシステム、セキュリティ方法及びセキュリティプログラム
JP7318697B2 (ja) 商品監視システム、出力先装置、商品監視方法、表示方法及びプログラム
RU2753959C2 (ru) Модуль видеоанализа и способ формирования материалов расследования поведения пользователя
US20170068945A1 (en) Pos terminal apparatus, pos system, commodity recognition method, and non-transitory computer readable medium storing program
WO2015033577A1 (ja) 顧客行動分析システム、顧客行動分析方法、非一時的なコンピュータ可読媒体及び棚システム
JP5673888B1 (ja) 情報通知プログラム及び情報処理装置
WO2018104999A1 (ja) 情報処理装置、制御方法、及びプログラム
US20230394556A1 (en) Information processing method, information processing device, and recording medium
WO2020170854A1 (ja) セルフｐｏｓシステム、セルフｐｏｓ端末装置、制御方法及び制御プログラムを格納した非一時的なコンピュータ可読媒体
CN115546703B (zh) 自助收银的风险识别方法、装置、设备及存储介质
JP7010030B2 (ja) 店内監視装置、店内監視方法、および店内監視プログラム
US20250239143A1 (en) Security system, security method, and non-transitory computer readable medium
JP2005128701A (ja) 電子物品監視システム及びその方法
JP2022190576A (ja) 防犯システムおよびプログラム
JP7609293B2 (ja) 報知システム、方法、及び、プログラム
WO2024166313A1 (ja) 報知システム、報知方法、および記録媒体
WO2023181328A1 (ja) 情報処理装置、情報処理装置の制御方法、及び、情報処理装置の制御プログラムが格納された記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14842912

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015535321

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14916702

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14842912

Country of ref document: EP

Kind code of ref document: A1