[go: up one dir, main page]

WO2022239123A1 - 生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法 - Google Patents

生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法 Download PDF

Info

Publication number
WO2022239123A1
WO2022239123A1 PCT/JP2021/017921 JP2021017921W WO2022239123A1 WO 2022239123 A1 WO2022239123 A1 WO 2022239123A1 JP 2021017921 W JP2021017921 W JP 2021017921W WO 2022239123 A1 WO2022239123 A1 WO 2022239123A1
Authority
WO
WIPO (PCT)
Prior art keywords
production line
abnormal state
line monitoring
information
monitoring device
Prior art date
Application number
PCT/JP2021/017921
Other languages
English (en)
French (fr)
Inventor
少翔 馬
清泰 丸山
正英 小池
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US18/289,116 priority Critical patent/US20240231331A1/en
Priority to JP2023520637A priority patent/JP7483132B2/ja
Priority to CN202180097868.6A priority patent/CN117461004A/zh
Priority to PCT/JP2021/017921 priority patent/WO2022239123A1/ja
Publication of WO2022239123A1 publication Critical patent/WO2022239123A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32181—Monitor production, assembly apparatus with multiple sensors

Definitions

  • the present disclosure relates to a production line monitoring device, a production line monitoring system, and a production line monitoring method for monitoring processes in a factory production line.
  • Patent Document 1 discloses a process monitoring apparatus including a camera for detecting an abnormal state, a memory for storing photographed image data, and a display device for displaying the image of the image data recorded in the memory. disclosed. The user identifies the cause of the abnormal state of the process by displaying the image of the image data recorded in the memory.
  • the present disclosure has been made in view of the above, and an object thereof is to obtain a production line monitoring device capable of promptly identifying the cause of an abnormal state without being limited to the individual imaging range of the imaging device. .
  • FIG. 4 is a diagram showing an example of a display screen on the display unit of the production line monitoring device according to the first embodiment;
  • FIG. 4 shows an FA system using the production line monitoring system according to the second embodiment;
  • FIG. 11 is a block diagram showing the functional configuration of the sensor of the production line monitoring system according to the second embodiment;
  • FIG. 2 is a block diagram showing the functional configuration of a production line monitoring device according to a second embodiment;
  • FIG. 10 is a flow chart showing an example of a processing procedure when the production line monitoring system according to the second embodiment monitors the production line;
  • FIG. 3 is a diagram showing a hardware configuration when the functions of the production line monitoring device according to the first embodiment and the production line monitoring device according to the second embodiment are realized by a computer system;
  • FIG. 1 is a diagram showing an FA system 200 using a production line monitoring system 1 according to the first embodiment.
  • the FA system 200 according to the first embodiment includes the production line monitoring system 1, a drive device 202 that is a control target device that is controlled to produce products on the production line, and a control device that controls the drive device 202.
  • a control system comprising an FA controller 201 .
  • An alarm is a signal indicating that a specific state, which is an expected event, has occurred in the production line, and is generated in the production line monitoring system 1 when an abnormal state occurs in the production line.
  • Alarm information is alarm information that can identify the content of an alarm that has occurred on a production line, and is information that includes an alarm management number linked to the content of the alarm and the time at which the alarm occurred.
  • the driving device 202 drives the belt conveyor 203 as shown in FIG.
  • the belt conveyor 203 is composed of an endless conveyor belt 204, rollers 206 having roller shafts 205, and a motor which is a driving device 202. By rotating the roller shafts 205 using the motor, the conveyor belt 204 is rotated by the rollers 206. to convey the product 207 on the conveyor belt 204 .
  • the axis mentioned above is the roller axis 205 .
  • the production line monitoring system 1 is a system for monitoring processes in a factory production line, and includes a production line monitoring device 10 and a photographing device 11 .
  • the production line monitoring system 1 photographs the operating state of the production process using the photographing device 11, and detects an abnormal state of the production process based on the photographed operating state of the production process.
  • the photographing device 11 is a photographing unit that photographs the process state of the production line. That is, the photographing device 11 can be said to be a state detection unit that detects the state of the process of the production line.
  • a plurality of cameras 111 that acquire overwritable video are used as the imaging device 11 .
  • a plurality of cameras 111 are arranged at predetermined photographing positions different from each other around a belt conveyor 203 driven by a motor that is a driving device 202 in the FA system 200 so that the product 207 can be photographed.
  • a sufficient number of cameras 111 are arranged to monitor any process desired to be monitored in a plurality of processes in the production line.
  • a sufficient number of cameras 111 are arranged to monitor all the processes in the production line when it is desired to monitor all the processes.
  • FIG. 3 is a schematic diagram showing an example of the cameras 111 arranged around the belt conveyor 203 in the first embodiment.
  • the cameras 111 are arranged on opposite sides of the belt conveyor 203, which is the production line.
  • Camera 111 - 1 , camera 111 - 3 and camera 111 - 5 are arranged on one side with respect to belt conveyor 203 .
  • Camera 111 - 2 and camera 111 - 4 are arranged on the other side with respect to belt conveyor 203 . That is, even-numbered cameras 111-2 and 111-4 are opposite to odd-numbered cameras 111, cameras 111-1, 111-3 and 111-5 across the production line.
  • the product 207 is photographed from the side.
  • Each camera 111 is arranged at a position where the imaging range of each camera 111 does not overlap.
  • FIG. 4 is a block diagram showing the functional configuration of the camera 111 of the production line monitoring system 1 according to the first embodiment.
  • the camera 111 includes a camera imaging section 111a, a camera communication section 111b, and a camera control section 111c.
  • the camera photographing unit 111a is a photographing function unit that performs photographing under the control of the camera control unit 111c.
  • the camera imaging unit 111a can be said to be a state information acquisition unit that acquires the state of the process of the production line.
  • the camera communication unit 111b performs two-way wireless communication with the production line monitoring device 10.
  • the camera control unit 111c controls the entire camera 111 including the camera imaging unit 111a and the camera communication unit 111b.
  • the camera control unit 111c controls the shutter speed and shutter timing of the camera 111 based on the scanning frequency stored in advance or the scanning frequency transmitted from the scanning frequency control unit 101a.
  • FIG. 5 is a block diagram showing the functional configuration of the production line monitoring device 10 according to the first embodiment.
  • the production line monitoring device 10 is a monitoring device for monitoring processes in a factory production line.
  • the production line monitoring device 10 detects an abnormal state of the production process based on the operating state of the production process photographed using the photographing device 11 .
  • the production line monitoring device 10 includes a monitoring control section 101 , a storage section 102 , a display section 103 , a monitoring communication section 104 and an input section 105 .
  • the components of the production line monitoring device 10 can exchange video data and information with each other.
  • the monitoring control unit 101 controls the production line monitoring device 10 as a whole.
  • the monitoring control unit 101 also includes a scanning frequency control unit 101a, an abnormality detection processing unit 101b, an abnormality tracking processing unit 101c, a recording processing unit 101d, and a display instruction unit 101e.
  • the components of the monitor control unit 101 can exchange video data and information with each other.
  • the scanning frequency control unit 101a calculates an appropriate scanning frequency for collectively controlling the shutter speeds of the multiple cameras 111 and collectively controls the imaging timings of the multiple cameras 111 .
  • the scanning frequency control unit 101 a receives, via the monitoring communication unit 104 , video data, which is video information of the production line process transmitted from the camera 111 .
  • the scanning frequency control unit 101a uses image data transmitted from the camera 111 to calculate the moving speed of the production line by image processing, and calculates the scanning frequency from the calculated moving speed.
  • the scanning frequency control unit 101 a transmits the calculated scanning frequencies to the cameras 111 to control the shutter speeds and shutter timings of the cameras 111 .
  • the moving speed of the production line can be considered as the moving speed of the conveyor belt 204 or the rotational speed of the motor that is the driving device 202 .
  • the scanning frequency control unit 101a stores information about the camera 111 selected in advance as one camera 111 to be subjected to calibration processing from among the plurality of cameras 111 .
  • the scanning frequency control unit 101a obtains information necessary for calculating the scanning frequency, represented by the moving speed of the production line, from the video data transmitted from the camera 111 to be calibrated, and calculates the scanning frequency.
  • the calibration process and the calculation of the scanning frequency will be described later.
  • the scanning frequency is control information used by the camera 111 to control shutter speed and shutter timing.
  • the scanning frequency control unit 101a transmits and feeds back the calculated scanning frequency to all the cameras 111, and updates the shutter speeds and shutter timings of all the cameras 111.
  • the error in the time information of corresponding frames between the cameras 111 can be minimized. That is, all the cameras 111 update the shutter speed and shutter timing using the calculated scanning frequency, so that all the cameras 111 can shoot one frame at the same time. The same number of frames can be shot within a frame.
  • the frame time information is information on the time when the frame was shot and is associated with the frame.
  • the abnormality detection processing unit 101b compares information obtained by image-processing images captured by a plurality of cameras 111 with pre-stored information representing the normal state of the production line to determine whether the production line Detect abnormal conditions that occur.
  • the information representing the normal state of the production line is video data of the process video of the production line when the production line is in the normal state.
  • Abnormal states occurring on the production line include the state in which there is an abnormal state of parts on the production line that differs from the normal state by a predetermined threshold or more, and It includes the state of contamination with foreign matter that does not
  • the abnormality detection processing unit 101b compares the images of the image data acquired from each camera 111 with the images of the image data representing the normal state of the production line stored in advance by machine learning or the like for all the cameras 111 . That is, the abnormality detection processing unit 101b compares the images captured by the cameras 111 with the images representing the normal state of the production line. If the image acquired from each camera 111 shows the product 207 or the situation of the production line that is determined to have a difference equal to or greater than a predetermined threshold as a result of the comparison, the abnormality detection processing unit 101b detects an abnormality that occurs in the production line. It is determined that an abnormal state has been detected, and an alarm is output. The abnormality detection processing unit 101 b transmits alarm information to the FA controller 201 via the monitoring communication unit 104 .
  • the abnormality detection processing unit 101b sets the image transmitted from the camera 111 that captured the image in which the abnormal state of the production line was detected to prohibit overwriting of the image.
  • the overwrite prohibition information is instructed to be stored in the storage unit 102 as a video that cannot be overwritten in a predetermined set period and as a video that cannot be overwritten without receiving an instruction from the user. It is information to do.
  • the abnormality detection processing unit 101b performs image processing on the video in which the abnormal state of the production line is detected.
  • the anomaly detection processing unit 101b transmits the image data of the image subjected to the image processing to the anomaly tracking processing unit 101c.
  • the image processing performed on the video data of the video in which the abnormal state of the production line is detected is the addition of various information related to the abnormal state.
  • Various types of information include a frame surrounding an abnormal portion in an abnormal state detected in the video.
  • Various types of information include labeling information.
  • the labeling information is information labeled with respect to each of a plurality of causes of abnormal conditions stored in advance in the abnormality detection processing unit 101b as candidates for causes of abnormal conditions.
  • the various types of information include positional coordinate information in a frame in the video of the product 207 or the status of the production line, which is the cause of the determination of the abnormal state.
  • the various types of information include positional coordinate information within the video frame of the portion that differs from the normal state.
  • the abnormality tracking processing unit 101c detects the abnormal state using information on the detected abnormal state and images of the plurality of cameras 111. Perform image processing for tracking. Note that the video captured by the camera 111 may simply be called the video of the camera 111 .
  • the anomaly tracking processing unit 101c compares images acquired from different cameras 111 and subjected to image processing by the anomaly detection processing unit 101b. Even if the abnormal state is reflected in the image, it is determined to be the same abnormal state. Then, the abnormality tracking processing unit 101c performs tracking processing of abnormal states occurring in the production line, and stores the processing results.
  • the tracking processing of the abnormal state occurring in the production line is performed by analyzing the position information of the camera 111 that captured the image showing the abnormal state together with the time information of the frame of the image, thereby detecting the abnormal state occurring in the production line.
  • This is a process of acquiring information on the trajectory of movement in time series, tracking the trajectory of movement of an abnormal state occurring in the production line, and connecting images.
  • the positional information of the camera 111 is positional information unique to each camera 111 that can identify the position where each camera 111 is arranged.
  • the tracking process can be rephrased as a process of tracking the temporal continuous movement of the state of the product or production line that caused the abnormal state in the images of the plurality of cameras 111 in which the abnormal state was detected.
  • the predetermined condition is that, in the information added to the video data by the abnormality detection processing unit 101b, the positional coordinate information and labeling information within the frame of the image of the product or the state on the production line detected as being in an abnormal state are the same. and that the positions of the cameras 111 in which the abnormal state is detected in the captured video are adjacent in the movement direction of the production line, and the times at which the abnormal state is detected have continuity.
  • the predetermined conditions are predetermined and stored in the abnormality tracking processing unit 101c.
  • the abnormality tracking processing unit 101c uses the time information of the frame of the image of one camera 111 as a reference to continue the frames of the image of another camera 111 that is temporally closest to the same abnormal state.
  • the anomaly tracking processing unit 101c similarly performs a process of comparing images of the plurality of cameras 111 from when an anomalous state is detected until the production line is stopped. Then, when it is determined that the abnormal states reflected in the images of the plurality of cameras 111 are the same abnormal state, the abnormality tracking processing unit 101c detects the abnormal state reflected in the images of the plurality of cameras 111 as described above. Tracking processing is performed to trace the trajectory of the movement of the abnormal state as the same abnormal state and connect the images to create recorded image data.
  • the recording processing unit 101d associates information associated with the detected abnormal state with the video that has been tracked and linked by the abnormality tracking processing unit 101c, and creates a record that has been tracked and linked.
  • a process of storing the image and the information associated with the abnormal state in the storage unit 102 is performed.
  • the video data of the recorded video that has been subjected to tracking processing and concatenated is video data that cannot be overwritten because the video data to which overwrite prohibition information has been added is concatenated.
  • the information associated with the abnormal state is information regarding the abnormal state.
  • the recording processing unit 101d performs recording processing for recording information associated with an abnormal state, which is various types of information related to the same abnormal state, in association with the video data of the recorded video that cannot be overwritten and linked by the abnormality tracking processing unit 101c. apply. Specifically, the recording processing unit 101d creates a data table in the storage unit 102 for the video data of the recording video that cannot be overwritten and that is linked by the abnormality tracking processing unit 101c. A data table is created separately for each abnormal condition detected.
  • the display instruction unit 101e is a user interface unit that causes the display unit 103 to display recorded information stored in the storage unit 102 according to instructions from the user.
  • the display instruction unit 101e causes the display unit 103 to display a screen for searching or specifying information that the user wants to display on the display unit 103, and prompts the user to input necessary information through the input unit 105.
  • FIG. Using the input unit 105, the user selects various images or information to be displayed on the display unit 103, such as real-time images in which an abnormal state has not been detected, images of past abnormal states recorded in the storage unit 102, and the like. , can be directed.
  • the display instruction unit 101e searches for information specified by the user and displays the search result on the display unit 103, or displays the information specified by the user on the display unit. 103 is displayed.
  • the storage unit 102 stores and stores the video data linked by the recording processing unit 101d and the information associated with the abnormal state.
  • the storage unit 102 has two different independent storage areas, a first storage area 102a and a second storage area 102b.
  • the storage unit 102 stores, in the first storage area 102a, overwritable video delivered from each camera 111 when no abnormal state is detected.
  • the storage unit 102 stores the video data of the non-overwritable video processed by the anomaly detection processing unit 101b, the anomaly tracking processing unit 101c, and the recording processing unit 101d after an abnormal state is detected, and information related to the non-overwritable video, Store in the second storage area 102b.
  • the information related to the video that cannot be overwritten is the information that accompanies the detected abnormal condition. That is, the storage unit 102 stores video data of overwritable video, video data of non-overwritable video, and information related to the non-overwritable video in different storage areas.
  • the data table described above is created in the second storage area 102b by the recording processing unit 101d.
  • the display unit 103 displays various information instructed by the display instruction unit 101e.
  • the display unit 103 displays an image or information instructed by the display instructing unit 101e.
  • the display unit 103 preferentially displays the image and information obtained by tracking the abnormal state.
  • the display unit 103 is exemplified by a display device such as a liquid crystal monitor.
  • the monitoring communication unit 104 performs wireless communication with the camera 111 to transmit and receive video data or information. Also, the monitoring communication unit 104 performs wireless communication with the FA controller 201 to transmit and receive information. Note that the communication method of the monitoring communication unit 104 is not limited to wireless communication, and may be wired communication.
  • the input unit 105 is configured with an input device, receives instruction information from the user, and transmits the received instruction information to the display instruction unit 101e.
  • input devices include devices such as keyboards and touch panels.
  • FIG. 6 is a flowchart showing an example of a processing procedure when the production line monitoring system 1 according to the first embodiment monitors the production line.
  • the camera 111 which is a monitoring image of the production line to be monitored in the production line monitoring system 1, captures a camera image of the production line.
  • a camera image acquisition step to acquire is performed.
  • a plurality of cameras 111 arranged around the production line to be monitored in the production line monitoring system 1 acquires image data of the production line by photographing the production line.
  • the video data here is video data that can be overwritten.
  • the plurality of cameras 111 deliver overwritable video data to the scanning frequency control unit 101a and the abnormality detection processing unit 101b.
  • the scanning frequency control unit 101a and the abnormality detection processing unit 101b receive image data from the plurality of cameras 111, thereby obtaining image data of the production line.
  • step S20 calibration processing is performed.
  • the calibration process if the moving speed of the production line is unknown, the production line is marked with an easy-to-recognize mark. Then, the scanning frequency control unit 101a adjusts the ratio between the actual physical length unit and the pixel length unit in the image based on the image captured by one camera 111 representative of the plurality of cameras 111. Calibration processing is performed by calculating. Also, based on the image captured by the camera 111, the passing speed of the mark is calculated by image processing.
  • FIG. 7 is a diagram for explaining an example of a method of calculating the moving speed of the production line from the image acquired from the camera 111 in the first embodiment.
  • FIG. 8 is a diagram for explaining movement of the mark 130 appearing in the image acquired from the camera 111 in the first embodiment.
  • a mark 130 such as a tape having a known width and length is attached in advance to the production line. That is, the mark 130 is affixed to the conveyor belt 204 in advance. The mark 130 is then photographed by the camera 111 . Next, the scanning frequency control unit 101a uses the image data of the image captured by the camera 111 to set the width and length of the mark 130 using the numerical values of the known actual length of the mark 130 as input values. The ratio between the numerical value of the actual length and the numerical value of the pixel length of the mark 130 appearing in the image is calculated by image processing.
  • the scanning frequency control unit 101a performs lens distortion correction that corrects the influence of lens distortion, and calculates a constant ratio that matches the image shown in the video.
  • this processing is defined as calibration processing.
  • the mark 130L on the left side indicates the mark 130 in one frame in the captured video.
  • the mark 130R on the right side indicates the mark 130 in the next frame in the captured image. That is, the mark 130 moves from the position of the mark 130L on the left to the position of the mark 130R on the right between two consecutive frames of the captured image.
  • the distance that the mark 130 moves in the image from the position of the mark 130L on the left side to the position of the mark 130R on the right side is the moving distance of the mark 130 in the image in pixel length.
  • step S30 If it is determined that it is necessary to acquire the scanning frequency, the answer in step S30 is Yes, and the process proceeds to step S40. If it is determined that there is no need to acquire the scanning frequency, the determination in step S30 is No, and the process proceeds to step S50.
  • step S40 the scanning frequency is calculated.
  • the scanning frequency control unit 101a uses the average value of the moving speed of the production line obtained by calibration processing from one camera 111 serving as a representative of the plurality of cameras 111 to 111 performs a process of calculating an appropriate scanning frequency.
  • the calculated scanning frequency is stored and held in the scanning frequency control unit 101a.
  • step S50 synchronization processing of the multiple cameras 111 is performed. Specifically, in the synchronization processing of the plurality of cameras 111, the scanning frequency control unit 101a transmits the calculated scanning frequency to all the cameras 111 and feeds it back. All cameras 111 receive the scanning frequency transmitted from the scanning frequency control unit 101a. The shutter speed of each camera 111 is obtained from the value of the scanning frequency transmitted from the scanning frequency control unit 101a, and has the same value.
  • Each camera 111 changes the shutter speed based on the received scanning frequency according to the most recent time information received from the scanning frequency control unit 101a, and distributes images to the scanning frequency control unit 101a and the abnormality detection processing unit 101b. Start. All the cameras 111 perform the above processing and are synchronized, so that errors in each frame time information of the video shot by each camera 111 can be reduced as much as possible. Between each camera 111, by minimizing the error of the frame time information between the frames in the images shot by the cameras 111, the frames of the images shot by the different cameras 111 can be temporally cross-referenced. becomes.
  • an abnormality detection step is performed to detect an abnormal state, and it is determined whether or not an abnormal state has been detected in the production line.
  • the abnormality detection processing unit 101b compares the video data acquired from the plurality of cameras 111 with the pre-stored video data representing the normal state of the production line. Detect abnormal conditions. In other words, the abnormality detection processing unit 101b compares the image of the current production line acquired from the plurality of cameras 111 with the image representing the production line in a normal state, which is stored in advance. Detect abnormal conditions
  • step S80 a tracking process step for tracking an abnormal state is performed.
  • the anomaly tracking processing unit 101c compares the information about the anomalous state added to the images acquired from the plurality of cameras 111 in step S70, so that the abnormal state detected between the plurality of cameras 111 It is determined whether the abnormal states are the same.
  • the abnormality tracking processing unit 101c detects the abnormal state among the images of the plurality of cameras 111 in which the abnormal state is detected.
  • a process is performed to track the continuous movement in time of the product 207 or production line situation that caused the .
  • the abnormality detection processing unit 101b selects an abnormality cause presumed to correspond to the detected abnormal state among the labeling information of the plurality of abnormality causes stored in advance in the abnormality detection processing unit 101b as candidates for the cause of the abnormal state.
  • the labeling information and the positional coordinate information of the abnormal frame in the frame are added to each video data frame.
  • the abnormality detection processing unit 101b stores and holds the labeling information and the position coordinate information as the information of the camera 111-1.
  • Information about the camera 111-1 is information about the camera 111.
  • the abnormality detection processing unit 101b detects the image captured by the camera 111 when the condition of the product 207 or the production line that caused the abnormal state moves out of the imaging range of the camera 111-1 and enters the imaging range of another camera 111.
  • the frame, labeling information, and abnormal state frame is added to the captured image, and stored as information of the camera 111 and retained.
  • the anomaly detection processing unit 101b transmits video data of images captured by the cameras 111 and information of each camera 111 to the anomaly tracking processing unit 101c.
  • the anomaly tracking processing unit 101c receives video data of images captured by each camera 111 and information of each camera 111 from the anomaly detection processing unit 101b.
  • the abnormality tracking processing unit 101c compares the information of each camera 111 from when the abnormal state is first detected until the abnormal state is resolved and the operation of the production line is restarted.
  • the abnormality tracking processing unit 101c determines whether the labeling information in the camera 111 information for the plurality of cameras 111 matches, or the position coordinate information in the abnormal state frame in the camera 111 information for the plurality of cameras 111 is a close value. and whether the photographing time information attached to the imaged frames is close to each other.
  • the imaging time information added to the imaging frame is information on the time when the imaging frame was shot.
  • the abnormality tracking processing unit 101c determines that the abnormal states captured in the images of the different cameras 111 are the same abnormal state. Then, the abnormality tracking processing unit 101c tracks the trajectory of movement of the abnormal states detected by the plurality of cameras 111 .
  • the product 207 is determined to be in an abnormal state different from the normal state in the image captured by the camera 111-1 in the abnormality detection processing unit 101b. Further, in the images captured by the cameras 111-2, 111-3, and 111-4, the product 207 is determined to be in an abnormal state different from the normal state.
  • the abnormality detection processing unit 101b for the abnormal state detected in the video captured by each camera 111, as described above, the frame, the labeling information, and the position coordinate information in the frame of the abnormal state within the frame, It is added to the photographed image and stored as information of the camera 111 and retained.
  • the even-numbered cameras 111 are arranged on the opposite side of the odd-numbered cameras 111 across the belt conveyor 203, which is the production line. That is, the even-numbered cameras 111 photograph the production line from the opposite side of the odd-numbered cameras 111 across the belt conveyor 203, which is the production line.
  • the abnormality tracking processing unit 101c unifies the position coordinates of the images captured by the even-numbered cameras 111 and the images captured by the odd-numbered cameras 111, and compares the coordinate position information. That is, the anomaly tracking processing unit 101c compares the coordinate position information by inverting the position coordinates in the detected and frame-added frame in the vertical direction.
  • the information of these cameras 111, the position information of the adjacent camera 111, the photographing time information of the end of the frame of the image showing the abnormal state detected in the image of a certain camera 111, and the moving direction of the production line. is transmitted from the abnormality detection processing unit 101b to the abnormality tracking processing unit 101c.
  • the anomaly tracking processing unit 101c compares these pieces of information for the multiple cameras 111.
  • FIG. The abnormality tracking processing unit 101c determines whether or not the abnormal states captured by the multiple cameras 111 are the same abnormal state based on the comparison result.
  • the abnormality tracking processing unit 101c detects the end frame of the images of the cameras 111 in which the abnormal state is captured, The start frame of the image of the adjacent next camera that shows the abnormal state is connected.
  • the abnormal state similarly detected in the images taken by each camera 111 other than the camera 111-1 is detected in the image of the camera 111-1, which is the cause of the alarm when the production line stops as described above.
  • the abnormal state is compared with the abnormal state in the abnormality tracking processing unit 101c to determine identity.
  • the currently occurring abnormal state is first detected in the image captured by the camera 111-1, passes in front of the cameras 111-2 and 111-3, and passes in front of the camera 111-4. It can be seen that the camera 111-4 continues to be in the position of the camera 111-4.
  • the abnormality tracking processing unit 101c determines that the abnormal state first detected in the image of the camera 111-1 is currently stopped in front of the camera 111-4.
  • the display instruction unit 101e displays the information on the situation in which an abnormal state was detected by the camera 111-1 and the alarm was generated, and the current abnormal state in front of the camera 111-4.
  • the user is notified by displaying on the display unit 103 the information on the situation in which the cause of the failure is stopped. That is, the anomaly tracking processing unit 101c transmits to the display instruction unit 101e the image when an abnormal state is first detected in the image of the camera 111-1 and the real-time image of the camera 111-4.
  • the display instruction unit 101e causes the display unit 103 to display the image. As a result, the user can be urged to quickly eliminate the abnormal state.
  • FIG. 10 shows information of a situation in which an abnormal state is detected by camera 111-1 and an alarm is generated, and a situation in which the cause of the abnormal state is currently stopped in front of camera 111-4 in the first embodiment.
  • 3 is a diagram showing a state in which information is displayed on a display unit 103.
  • FIG. 10 As shown in FIG. 10, in the display unit 103, an image of the camera 111-1 in which an alarm is generated by detecting an abnormal state first in the camera 111-1 is displayed in the left area.
  • the image of the camera 111-4 in which the object causing the abnormal state is stopped in front of is displayed in the right area.
  • step S90 the abnormality tracking processing unit 101c determines whether or not the production line has stopped.
  • the FA controller 201 transmits stop information indicating that the driving device 202 has stopped to the production line monitoring device 10 .
  • the abnormality tracking processing unit 101c determines that the production line has stopped when stop information is received via the monitoring communication unit 104.
  • FIG. The abnormality tracking processing unit 101c determines that the production line is not stopped when the stop information is not received.
  • the storage unit 102 is provided with position information of a plurality of cameras 111, and when an abnormal state is detected by the abnormality detection processing unit 01b, the information of the camera 111 that captured the image in which the abnormal state was detected and the information of the abnormal state The location information of the camera 111 that captured the video in which the is detected and the thumbnail image that is the captured image of the detected abnormal state are recorded in association with the video showing the abnormal state.
  • step S130 processing related to display of images or information stored in the storage unit 102 is performed.
  • step S130 it is determined whether or not a reproduction instruction has been received. Specifically, the display instruction unit 101e determines whether or not an instruction to reproduce video or information stored in the storage unit 102 has been received from the input unit 105 .
  • the user searches for a desired recorded video from the displayed condition search screen based on conditions such as the time when the abnormal state occurred or the position information of the camera 111 and thumbnail images, and instructs the display unit 103 to display the recorded video. can do.
  • the input unit 105 transmits the reproduction instruction to the display instruction unit 101e. After that, the process proceeds to step S150.
  • step S150 if it is determined in step S130 that a reproduction instruction has been received and the process proceeds from step S140 to step S150, in step S70, abnormality information, which is information regarding an abnormal state, is added.
  • the recorded video resulting from the state tracking process is combined with the video when the abnormal state was detected and the current positional information of the abnormal state when the production line was stopped and the second recording process was performed in step S110. is displayed along with the judgment result.
  • the thumbnail images 132 displayed according to the data of the thumbnail images 132 stored in the data table of the storage unit 102 corresponding to the search result by the keyword input by the user are displayed as search target candidates for the user. are displayed side by side as Since the thumbnail images 132 that are candidates for the user's search target are displayed in the thumbnail display area 1032, the user who gives the reproduction instruction can select the thumbnail images 132 that are candidates for the user's search target by inputting a small number of search conditions. can see
  • the user can view the recorded video corresponding to the selected thumbnail image 132 stored in the storage unit 102 in the video display area 1032 . can be displayed.
  • the user's load when searching for a desired recorded video and displaying it in the video display area 1031 can be reduced, and the searchability of the recorded video can be improved.
  • the production line monitoring device 10 performs the calibration process so that the shutters of the cameras 111 are detected.
  • the scan frequency can be calculated such that the timing is optimized. Further, since the scanning frequency shared by all the cameras 111 in the production line monitoring system 1 can be calculated by the scanning frequency control unit 101a, it is possible to introduce a plurality of cameras 111 compared to a monitoring system in which a plurality of single cameras are introduced. and easy to control synchronization.
  • the shutter timing of the camera 111 is optimized by the scanning frequency control unit 101a. can be photographed to monitor objects and production lines. As a result, the production line monitoring system 1 can increase the detection rate of an abnormal state by image processing.
  • the abnormality detection processing unit 101b detects an abnormal state in real time by image processing, and adds various information related to the abnormal state such as a frame 131 to the image in which the abnormal state is detected. As a result, in the production line monitoring system 1, it is possible to confirm the abnormal state that has occurred more quickly and more specifically when confirming the video.
  • the same detected abnormal state is tracked by the abnormality tracking processing unit 101c until the production line is stopped.
  • the position of the camera 111 capturing the abnormal state is presented to the user as the current position of the stopped abnormal state in the production line. be able to.
  • the current position of the abnormal state estimated from the position of the camera 111 that captured the last abnormal state is displayed to the user as the current position of the abnormal state. can be presented.
  • the user can quickly grasp the current location of the cause of the abnormal state, quickly eliminate the cause of the abnormal state from the production line, and quickly restart the production line.
  • the recording processing unit 101d causes the storage unit 102 to store the image of the camera 111 as an overwritable recorded image when no abnormal state is detected. Further, when an abnormal state is detected, the recording processing unit 101d adds overwrite prohibition information to the video data showing the abnormal state so that overwriting and deletion cannot be performed for a certain period of time without a user instruction. do. Thereby, in the production line monitoring system 1, the capacity of the storage unit 102 can be used efficiently.
  • the display unit 103 can display various information linked to the recorded video by the recording processing unit 101d in an easy-to-understand manner. Further, when an alarm is generated due to the detection of an abnormal state, a thumbnail image 132 obtained by selecting a recorded image with the highest image quality from recorded images showing an object that causes the abnormal state and converting it into a thumbnail can be displayed on the display unit 103. . As a result, in the production line monitoring system 1, it is possible to improve the visibility of the abnormal state on the instruction screen when instructing to reproduce the video showing the abnormal state that has occurred.
  • the production line monitoring system 1 causes all the cameras 111 to shoot based on the same scanning frequency, and controls the shooting timing of the plurality of cameras 111, thereby detecting the cause of the abnormal state detected in the shot video. is tracked, and when the production line stops when an abnormal state is detected, the location of the abnormal state can be quickly identified, and the cause of the abnormal state can be easily eliminated.
  • the detection device 22 is a state detection unit that detects the state of the process of the production line.
  • the detection device 22 includes multiple cameras 111 and multiple sensors 121 .
  • the sensor 121 is a sensor that detects information on the state of the production line process that cannot be obtained from the video captured by the camera 111 .
  • the process state of the production line that cannot be obtained from the video is exemplified by the product 207 or the temperature of the production line.
  • a plurality of sensors 121 are arranged at different predetermined positions around the belt conveyor 203 driven by the motor, which is the driving device 202, in the FA system 230, where the product 207 or the state of the production line can be acquired.
  • there is A sufficient number of sensors 121 are arranged to monitor any process desired to be monitored in a plurality of processes in the production line.
  • a sufficient number of sensors 121 are arranged to monitor all the processes in the production line when it is desired to monitor all the processes.
  • the sensor 121 includes a sensor detection section 121a, a sensor communication section 121b, and a sensor control section 121c.
  • the monitoring control unit 211 controls the production line monitoring device 21 as a whole.
  • the monitoring control unit 211 also includes a scanning frequency control unit 211a, an abnormality detection processing unit 211b, an abnormality tracking processing unit 211c, a recording processing unit 211d, and a display instruction unit 211e.
  • the components of the monitor control unit 211 can exchange video data and information with each other.
  • the scanning frequency control unit 211a receives information about the known movement speed of the production line, calculates an appropriate scanning frequency for collectively controlling the shutter speeds of the multiple cameras 111, and controls the multiple cameras 111. collectively control the shooting timing of
  • Each camera 111 changes the shutter speed based on the received scanning frequency according to the most recent time information received from the scanning frequency control unit 211a, and starts distributing the video. All the cameras 111 perform the above processing and are synchronized, so that errors in each frame time information of the video shot by each camera 111 can be reduced as much as possible. Between each camera 111, by minimizing the error of the frame time information between the frames in the images shot by the cameras 111, the frames of the images shot by the different cameras 111 can be temporally cross-referenced. becomes.
  • the abnormality detection processing unit 211b compares video data transmitted from the plurality of cameras 111 and sensor detection information transmitted from the plurality of sensors 121 with pre-stored information representing a normal state to detect an abnormality occurring in the production line. Detect abnormal conditions As a result of the comparison, the abnormality detection processing unit 211b determines that there is a difference equal to or greater than a predetermined threshold value, and if the image acquired from each camera 111 shows the state of the product 207 or the production line, an abnormality occurs in the production line. It is determined that an abnormal state has been detected, and an alarm is output.
  • the abnormality detection processing unit 211b determines that an abnormal state has been detected and outputs an alarm.
  • the abnormality detection processing unit 211 b transmits alarm information to the FA controller 201 via the monitoring communication unit 104 .
  • the abnormality detection processing unit 211b performs the same processing as the abnormality detection processing unit 101b in the first embodiment.
  • the anomaly tracking processing unit 211c performs the same processing as the anomaly tracking processing unit 101c in the first embodiment.
  • the recording processing unit 211d performs the same processing as the recording processing unit 101d in the first embodiment.
  • the display instruction unit 211e performs the same processing as the display instruction unit 101e in the first embodiment.
  • FIG. 15 is a flowchart showing an example of a processing procedure when the production line monitoring system 2 according to the second embodiment monitors the production line.
  • step S210 the camera 111 captures a camera image of the production line, which is a monitoring image of the production line to be monitored by the production line monitoring system 2.
  • a camera image acquisition step to acquire is performed.
  • a plurality of cameras 111 arranged around the production line to be monitored in the production line monitoring system 1 acquires image data of the production line by photographing the production line.
  • the video data here is video data that can be overwritten.
  • a sensor detection process is performed in which a plurality of sensors 121 detects information about the state of the process of the production line to be monitored by the production line monitoring system 2 .
  • a plurality of sensors 121 arranged around the production line to be monitored in the production line monitoring system 2 detects information on the process state of the production line and acquires sensor detection information.
  • step S220 calibration processing is performed in step S220.
  • the scanning frequency control unit 211a receives the known moving speed of the production line as an input and saves it as a history.
  • the scanning frequency control unit 211 a performs processing for determining whether it is necessary to calculate the scanning frequency for controlling the shutter speed of the camera 111 .
  • the scanning frequency control unit 211a determines that it is necessary to calculate the scanning frequency.
  • the scanning frequency control unit 211a determines that there is no need to calculate the scanning frequency when the input movement speed of the production line is a value that has already been input, and when the input value is sufficiently low. do.
  • step S230 If it is determined that it is necessary to calculate the scanning frequency, the answer in step S230 is Yes, and the process proceeds to step S240. If it is determined that there is no need to calculate the scanning frequency, the determination in step S230 is No, and the process proceeds to step S250.
  • step S240 the scanning frequency is calculated.
  • the scanning frequency control unit 211a performs processing for calculating appropriate scanning frequencies for all the cameras 111 based on the input value of the moving speed of the production line, as in the case of the first embodiment. .
  • the calculated scanning frequency is stored and held in the scanning frequency control unit 211a.
  • step S250 synchronization processing of the plurality of cameras 111 is performed in the same manner as in the first embodiment. Specifically, in the synchronization processing of the plurality of cameras 111, the scanning frequency control unit 211a transmits the calculated scanning frequency to all the cameras 111 and feeds it back. All cameras 111 receive the scanning frequency transmitted from the scanning frequency control unit 211a. The shutter speed of each camera 111 is obtained from the value of the scanning frequency transmitted from the scanning frequency control unit 211a, and has the same value.
  • an abnormality detection step is performed to detect an abnormal state, and it is determined whether or not an abnormal state has been detected in the production line.
  • the abnormality detection processing unit 211b compares the image data acquired from the plurality of cameras 111 with the pre-stored image data representing the normal state of the production line. Detect abnormal conditions. That is, the abnormality detection processing unit 211b compares the image of the current production line acquired from the plurality of cameras 111 with the image representing the production line in a normal state stored in advance, thereby detecting an abnormality occurring on the production line. Detect abnormal conditions
  • the abnormality detection processing unit 211b compares sensor detection information acquired from the plurality of sensors 121 and information representing a normal state stored in advance to detect an abnormal state occurring in the production line.
  • step S280 to step S350 is the same as the processing from step S80 to step S150 in FIG. 6, so the description is omitted.
  • FIG. 16 is a diagram showing an example of scanning frequency calculation in the second embodiment.
  • the user inputs the moving speed of the production line to the production line monitoring device 21 after calculating the ratio between the actual length unit and the pixel length unit in the calibration process.
  • the scanning frequency is calculated based on the input numerical value of the moving speed of the production line.
  • the input of the movement speed of the production line is Ms: rotation speed [rpm].
  • the calculation result is 1/ ⁇ : scanning frequency [Hz].
  • the production line monitoring system 2 according to the second embodiment described above has the same effects as the production line monitoring system 1 according to the first embodiment.
  • the minimum shutter speed described in the equation (1) of the first embodiment can be calculated.
  • a scanning frequency can also be calculated.
  • the production line monitoring system 2 introduces a plurality of cameras 111 compared to a monitoring system that introduces a plurality of single cameras for monitoring the process of a production line with a known moving speed of the production line. and easy to control synchronization.
  • the initial value of the shutter speed of the camera 111 may be set. If the moving speed of the production line is sufficiently slow and it is clear that the right-hand side of equation (1) is a sufficiently large value compared to the initial value of the shutter speed, which is the left-hand side, then the appropriate scanning frequency is the initial value of the shutter speed. It is calculated as the reciprocal of the value and does not require any other numerical input. For this reason, the production line monitoring system 2 can be easily introduced to monitor processes in which the movement speed of the production line is sufficiently low.
  • a configuration in which a plurality of detection devices each having one camera 111, one sensor 121, and one abnormality detection processing unit 211b is provided may be employed.
  • the multiple detection devices 22 are independent of each other.
  • the camera 111 and the sensor 121 are each connected to the abnormality detection processing section 211b.
  • the camera 111 distributes overwritable video image data to the abnormality detection processing unit 211 b and the production line monitoring device 21 .
  • the sensor 121 detects the product 207 flowing through the process of the production line or the status of the production line, and transmits the obtained sensor detection information to the abnormality detection processing section 211b.
  • FIG. 17 is a diagram showing a hardware configuration when the functions of the production line monitoring device 10 according to the first embodiment and the production line monitoring device 21 according to the second embodiment are realized by a computer system.
  • the respective functions of the production line monitoring device 10 and the production line monitoring device 21 are realized by a computer system, the respective functions of the production line monitoring device 10 and the production line monitoring device 21 are implemented by arithmetic processing as shown in FIG.
  • the memory 302 is a non-volatile or volatile semiconductor such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable ROM), or EEPROM (Electrically EPROM).
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable ROM), or EEPROM (Electrically EPROM).
  • a memory a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc), or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Factory Administration (AREA)
  • Numerical Control (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

生産ライン監視装置（１０）は、工場の生産ラインにおける工程を監視するための生産ライン監視装置（１０）である。生産ライン監視装置（１０）は、生産ライン監視装置（１０）の外部における互いに異なる位置に配置されて生産ラインの状態を撮影する複数の撮影部で取得された映像に基づいて、生産ラインの異常状態を検出する異常検出処理部（１０１ｂ）と、異常検出処理部（１０１ｂ）において異常状態が検出された場合に、複数の撮影部で撮影された映像のうち異常状態と同一の異常状態が撮影されている映像を時系列に沿って連結した記録映像を作成する異常追跡処理部（１０１ｃ）と、記録映像と、検出された異常状態に付随する情報とを紐づけて記憶する記憶部（１０２）と、を備える。

Description

生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法
　本開示は、工場の生産ラインにおける工程を監視するための生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法に関する。
　近年、ファクトリーオートメーション（Ｆａｃｔｏｒｙ　Ａｕｔｏｍａｔｉｏｎ：ＦＡ）機器による工場の自動化が進んでいる。工場の生産ラインにおいて、一時的なトラブルなどにより設備または作業が停止してしまういわゆる「チョコ停」は、生産ラインの稼働率の悪化を引き起こす。このため、生産ラインの稼働率の悪化につながるトラブルの原因を追究し、取り除くことが必要となる。
　そこで、生産ラインの稼働率悪化対策のため、生産ラインの工程を監視する監視システムが提案されている。生産ラインの工程を監視する監視システムでは、監視カメラを用いて工程の稼働状態を撮影し、異常状態が検出された時の映像を記録する。このような技術によれば、ユーザは異常状態が検出された時の記録映像を確認することで、検出された異常状態を確認することができ、稼働率の悪化を改善することが可能となる。
　特許文献１には、異常状態を検出するためのカメラと、撮影された映像データを格納するためのメモリと、メモリに記録された映像データの映像を表示する表示装置とを備える工程監視装置が開示されている。ユーザは、メモリに記録された映像データの映像を表示させて工程の異常状態の原因の特定を行う。
特開２０１６―１２２３１９号公報
　しかしながら、上記特許文献１の工程監視装置によれば、異常状態の検出時に生産ラインが停止した際、異常状態の原因が生産ラインの停止までの間に移動してしまう。このため、生産ラインが停止した際に異常状態の原因がカメラの撮影範囲外に移動してしまった場合には、記録された映像を確認するだけでは異常状態の原因を特定できず、異常状態の原因の特定に時間がかかる、という問題があった。
　本開示は、上記に鑑みてなされたものであって、撮影装置の個別の撮影範囲に限定されずに速やかな異常状態の原因の特定を可能とする生産ライン監視装置を得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本開示にかかる生産ライン監視装置は、工場の生産ラインにおける工程を監視するための生産ライン監視装置である。生産ライン監視装置は、生産ライン監視装置の外部における互いに異なる位置に配置されて生産ラインの状態を撮影する複数の撮影部で取得された映像に基づいて、生産ラインの異常状態を検出する異常検出処理部と、異常検出処理部において異常状態が検出された場合に、複数の撮影部で撮影された映像のうち異常状態と同一の異常状態が撮影されている映像を時系列に沿って連結した記録映像を作成する異常追跡処理部と、記録映像と、検出された異常状態に付随する情報とを紐づけて記憶する記憶部と、を備える。
　本開示にかかる生産ライン監視装置によれば、撮影装置の個別の撮影範囲に限定されずに速やかな異常状態の原因の特定が可能となる、という効果を奏する。
実施の形態１にかかる生産ライン監視システムが使用されるＦＡシステムを示す図 実施の形態１において駆動装置の駆動対象がベルトコンベヤである場合の生産ラインの一例を示す模式図 実施の形態１においてベルトコンベヤの周囲に配置されたカメラの一例を示す模式図 実施の形態１にかかる生産ライン監視システムのカメラの機能構成を示すブロック図 実施の形態１にかかる生産ライン監視装置の機能構成を示すブロック図 実施の形態１にかかる生産ライン監視システムが生産ラインの監視を行う際の処理手順の一例を示すフローチャート 実施の形態１において、カメラから取得された映像から生産ラインの移動速度を算出する方法の一例を説明する図 実施の形態１において、カメラから取得された映像内に映る目印の移動を説明する図 実施の形態１にかかる生産ライン監視システムにおいて異常状態が検出されたときの生産ラインの具体的な状況の一例を示す図 実施の形態１において、カメラで異常状態が検出されてアラームが発生した状況の情報と、現在にカメラの前で異常状態の原因が停止している状況の情報とが表示部に表示されている状態を示す図 実施の形態１にかかる生産ライン監視装置の表示部における表示画面の一例を示す図 実施の形態２にかかる生産ライン監視システムが使用されるＦＡシステムを示す図 実施の形態２にかかる生産ライン監視システムのセンサの機能構成を示すブロック図 実施の形態２にかかる生産ライン監視装置の機能構成を示すブロック図 実施の形態２にかかる生産ライン監視システムが生産ラインの監視を行う際の処理手順の一例を示すフローチャート 実施の形態２における走査周波数の算出時の一例を示す図 実施の形態１にかかる生産ライン監視装置および実施の形態２にかかる生産ライン監視装置のそれぞれの機能をコンピュータシステムで実現する場合のハードウェア構成を示す図
　以下に、実施の形態にかかる生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法を図面に基づいて詳細に説明する。
実施の形態１．
　図１は、実施の形態１にかかる生産ライン監視システム１が使用されるＦＡシステム２００を示す図である。本実施の形態１にかかるＦＡシステム２００は、生産ライン監視システム１と、生産ラインにおいて製品を生産するために制御される制御対象機器である駆動装置２０２と、駆動装置２０２を制御する制御装置であるＦＡコントローラ２０１と、を備える制御システムである。
　ＦＡコントローラ２０１は、駆動装置２０２の制御を行う。また、ＦＡコントローラ２０１は、後述する生産ライン監視装置１０からアラーム情報を受信した場合には、駆動装置２０２を停止させる制御を行う。ＦＡコントローラ２０１は、駆動装置２０２を停止させた後に、駆動装置２０２が停止した旨の停止情報を生産ライン監視装置１０に送信する。
　アラームは、生産ラインにおいて想定内の事象である特定の状態が生じていることを示す信号であり、生産ラインにおいて異常状態が生じた場合に、生産ライン監視システム１において発生する。アラーム情報は、生産ラインにおいて発生したアラームの内容を特定することが可能なアラームの情報であり、アラームの内容に紐付けられたアラーム管理番号とアラームが発生した時刻とを含む情報である。
　ＦＡコントローラ２０１の一例は、プログラマブルロジックコントローラ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｃｏｎｔｒｏｌｌｅｒ：ＰＬＣ）である。なお、ＦＡシステム２００は、ＦＡコントローラ２０１の制御に基づいて駆動装置２０２を制御するモーションコントローラを有する構成とされてもよい。
　駆動装置２０２は、生産ラインにおける軸に動力を供給する装置であり、モータまたはアクチュエータといった装置が該当する。軸は、生産ラインにおける機器の軸である。図２は、実施の形態１において駆動装置２０２の駆動対象がベルトコンベヤである場合の生産ラインの一例を示す模式図である。実施の形態１では、駆動装置２０２であるモータが、ベルトコンベヤを駆動させて、製品を運搬するものとする。なお、製品には、完成品および中間材といった、生産ラインで搬送される物体を含むものとする。
　図２に示すように駆動装置２０２は、ベルトコンベヤ２０３を駆動させる。ベルトコンベヤ２０３は、エンドレスのコンベヤベルト２０４、ローラー軸２０５を有するローラー２０６および駆動装置２０２であるモータからなり、モータを用いてローラー軸２０５を回転駆動させることにより、コンベヤベルト２０４をローラー２０６で回転させてコンベヤベルト２０４上の製品２０７を搬送する。ベルトコンベヤ２０３においては、上述した軸はローラー軸２０５である。
　生産ライン監視システム１は、工場の生産ラインにおける工程を監視するシステムであり、生産ライン監視装置１０と、撮影装置１１と、を備える。生産ライン監視システム１は、撮影装置１１を用いて生産工程の稼働状態を撮影し、撮影した生産工程の稼働状態に基づいて生産工程の異常状態を検出する。
　撮影装置１１は、生産ラインの工程の状態を撮影する撮影部である。すなわち、撮影装置１１は、生産ラインの工程の状態を検出する状態検出部といえる。撮影装置１１には、上書き可能な映像を取得する複数のカメラ１１１が用いられる。複数のカメラ１１１は、ＦＡシステム２００において駆動装置２０２であるモータにより駆動されるベルトコンベヤ２０３の周囲であって製品２０７が撮影可能な予め決められた互いに異なる撮影位置に配置されている。カメラ１１１は、生産ラインにおける複数の工程において監視したい任意の工程を監視するために十分な台数が配置される。カメラ１１１は、生産ラインにおける全ての工程を監視したい場合には、全ての工程を監視するために十分な台数が配置される。
　全てのカメラ１１１は、後述する異常検出処理部１０１ｂと情報の授受が可能に接続されている。すなわち、カメラ１１１は、ベルトコンベヤ２０３上の予め決められた撮影位置に到達した製品２０７の映像を撮影し、撮影した映像の撮影データを生産ライン監視装置１０に無線通信により送信する。撮影データは、後述する走査周波数制御部１０１ａおよび異常検出処理部１０１ｂに送られる。複数のカメラ１１１は、互いに独立しており、常に撮影した映像の映像データを生産ライン監視装置１０に配信する。
　図３は、実施の形態１においてベルトコンベヤ２０３の周囲に配置されたカメラ１１１の一例を示す模式図である。図３においては、複数のカメラ１１１は、生産ラインであるベルトコンベヤ２０３を挟んで反対側に配置されている。カメラ１１１－１、カメラ１１１－３およびカメラ１１１－５は、ベルトコンベヤ２０３に対する一方側に配置されている。カメラ１１１－２およびカメラ１１１－４は、ベルトコンベヤ２０３に対する他方側に配置されている。すなわち、偶数番号のカメラ１１１であるカメラ１１１－２およびカメラ１１１－４は、奇数番号のカメラ１１１であるカメラ１１１－１、カメラ１１１－３およびカメラ１１１－５に対して生産ラインを挟んで反対側から製品２０７を撮影する。そして、各カメラ１１１は、各カメラ１１１の撮影範囲が重複しない位置に配置されている。
　図４は、実施の形態１にかかる生産ライン監視システム１のカメラ１１１の機能構成を示すブロック図である。
　カメラ１１１は、カメラ撮影部１１１ａと、カメラ通信部１１１ｂと、カメラ制御部１１１ｃと、を備える。
　カメラ撮影部１１１ａは、カメラ制御部１１１ｃの制御に基づいて撮影を行う撮影機能部である。カメラ撮影部１１１ａは、生産ラインの工程の状態を取得する状態情報取得部といえる。
　カメラ通信部１１１ｂは、生産ライン監視装置１０との間で双方向の無線通信を行う。
　カメラ制御部１１１ｃは、カメラ撮影部１１１ａとカメラ通信部１１１ｂとを含む、カメラ１１１全体を制御する。カメラ制御部１１１ｃは、予め記憶している走査周波数あるいは走査周波数制御部１０１ａから送信される走査周波数に基づいて、カメラ１１１のシャッタースピードとシャッタータイミングとを制御する。
　図５は、実施の形態１にかかる生産ライン監視装置１０の機能構成を示すブロック図である。生産ライン監視装置１０は、工場の生産ラインにおける工程を監視するための監視装置である。生産ライン監視装置１０は、撮影装置１１を用いて撮影した生産工程の稼働状態に基づいて、生産工程の異常状態を検出する。生産ライン監視装置１０は、監視制御部１０１と、記憶部１０２と、表示部１０３と、監視通信部１０４と、入力部１０５と、を備える。生産ライン監視装置１０の構成部は、互いに映像データおよび情報の授受が可能である。
　監視制御部１０１は、生産ライン監視装置１０の全体を制御する。また、監視制御部１０１は、走査周波数制御部１０１ａと、異常検出処理部１０１ｂと、異常追跡処理部１０１ｃと、記録処理部１０１ｄと、表示指示部１０１ｅと、を備える。監視制御部１０１の構成部は、互いに映像データおよび情報の授受が可能である。
　走査周波数制御部１０１ａは、複数のカメラ１１１のシャッタースピードを一括して制御するための適切な走査周波数を算出して複数のカメラ１１１の撮影タイミングを一括して制御する。走査周波数制御部１０１ａは、カメラ１１１から送信された生産ラインの工程の映像情報である映像データを、監視通信部１０４を介して受信する。走査周波数制御部１０１ａは、カメラ１１１から送信された映像データを用いて、画像処理によって生産ラインの移動速度を算出し、算出された移動速度から走査周波数を算出する。走査周波数制御部１０１ａは、算出した走査周波数を複数のカメラ１１１に送信して、複数のカメラ１１１のシャッタースピードとシャッタータイミングとを制御する。駆動装置２０２の駆動対象がベルトコンベヤ２０３である場合、生産ラインの移動速度は、コンベヤベルト２０４の移動速度あるいは駆動装置２０２であるモータの回転速度と考えることもできる。
　走査周波数制御部１０１ａは、複数のカメラ１１１のうち、キャリブレーション処理の対象とする１台のカメラ１１１として予め選択されたカメラ１１１の情報を記憶している。走査周波数制御部１０１ａは、キャリブレーション処理の対象とするカメラ１１１から送信される映像データから生産ラインの移動速度に代表される走査周波数の算出に必要な情報を取得し、走査周波数を算出する。キャリブレーション処理および走査周波数の算出については後述する。走査周波数は、カメラ１１１がシャッタースピードとシャッタータイミングとを制御するために用いる制御情報である。
　走査周波数制御部１０１ａは、算出された走査周波数を全てのカメラ１１１に送信してフィードバックし、全てのカメラ１１１のシャッタースピードとシャッタータイミングとを更新させる。これにより、複数のカメラ１１１間における対応する互いのフレームの時間情報の誤差を限りなく小さくすることができる。すなわち、全てのカメラ１１１は、算出された走査周波数を用いてシャッタースピードとシャッタータイミングとを更新することにより、全てのカメラ１１１間で、同時刻に１つのフレームを撮影することができ、同一時間内に、同じ枚数のフレームを撮影することができる。フレームの時間情報は、フレームが撮影された時刻の情報であり、フレームに関連付けられている。
　異常検出処理部１０１ｂは、複数のカメラ１１１により撮影された映像を画像処理することで得られる情報と、予め記憶している生産ラインの正常状態を表す情報とを比較することによって、生産ラインに発生している異常状態を検出する。生産ラインの正常状態を表す情報は、生産ラインが正常状態であるときの生産ラインの工程の映像の映像データである。
　生産ラインに発生している異常状態には、生産ライン上に在って正常状態と予め決められた閾値以上の差異がある異常状態の部品が発生している状態、および生産ラインにおける本来は存在しない異物の混入状態が含まれる。
　異常検出処理部１０１ｂでは、各カメラ１１１から取得した映像データの映像を全カメラ１１１分、予め機械学習などによって記憶された生産ラインの正常状態を表す映像データの映像と比較する。すなわち、異常検出処理部１０１ｂは、各カメラ１１１で撮影された映像を、生産ラインの正常状態を表す映像と比較する。異常検出処理部１０１ｂは、比較の結果、予め決められた閾値以上の差異があると判定される製品２０７または生産ラインの状況が各カメラ１１１から取得した映像に映っていた場合、生産ラインに発生している異常状態を検出したと判定し、アラームを出力する。異常検出処理部１０１ｂは、アラームの情報を、監視通信部１０４を介してＦＡコントローラ２０１に送信する。
　異常検出処理部１０１ｂは、生産ラインの異常状態が検出された場合、生産ラインの異常状態が検出された映像を撮影したカメラ１１１から送信される映像に対して、映像に対する上書きを禁止する旨の情報である上書き不可情報を付与する。上書き不可情報は、予め決められた設定期間において上書きすることができない映像として、且つユーザから指示を受信することなく上書きすることができない上書き不可の映像として、記憶部１０２に記憶されるように指示する情報である。
　また、異常検出処理部１０１ｂは、生産ラインの異常状態が検出された映像に対して画像処理を施す。異常検出処理部１０１ｂは、画像処理を施した映像の映像データを異常追跡処理部１０１ｃに送信する。
　生産ラインの異常状態が検出された映像の映像データに対して行われる画像処理は、異常状態に関する各種情報の付与である。各種情報は、映像内に検出された異常状態における異常部分を囲む枠が挙げられる。また、各種情報には、ラベリング情報が挙げられる。ラベリング情報は、異常状態の原因の候補として予め異常検出処理部１０１ｂに記憶されている複数の異常状態の原因の各々に対してラベリングされた情報である。また、各種情報には、異常状態と判定された原因となる製品２０７または生産ラインの状況の、映像内のフレームにおける位置座標情報が挙げられる。また、各種情報には、正常状態との差異部分の映像のフレーム内の位置座標情報が挙げられる。
　異常追跡処理部１０１ｃは、生産ラインに発生している異常状態が異常検出処理部１０１ｂにおいて検出された場合に、検出された異常状態の情報と複数のカメラ１１１の映像とを用いて異常状態を追跡するための画像処理を行う。なお、カメラ１１１で撮影された映像を、単にカメラ１１１の映像と呼ぶ場合がある。
　異常追跡処理部１０１ｃは、異なるカメラ１１１から取得されて異常検出処理部１０１ｂにおいて画像処理が施された映像同士を比較して、予め決められた条件に比較結果が当てはまる場合は、異なるカメラ１１１の映像に映った異常状態であっても同一の異常状態であると判定する。そして、異常追跡処理部１０１ｃは、生産ラインに発生している異常状態の追跡処理を行い、処理結果を記憶する。
　生産ラインに発生している異常状態の追跡処理は、異常状態が映った映像を撮影したカメラ１１１の位置情報を映像のフレームの時間情報とともに分析することで、生産ラインに発生している異常状態が移動した軌跡の情報を時系列で取得して生産ラインに発生している異常状態の移動の軌跡を追跡し、映像を連結する処理である。カメラ１１１の位置情報は、各カメラ１１１が配置されている位置を特定可能な、各カメラ１１１に固有の位置情報である。追跡処理は、異常状態が検出された複数のカメラ１１１の映像の中で異常状態の原因となった製品または生産ライン上の状態の時間的に連続な移動を追跡する処理と換言できる。
　予め決められた条件は、異常検出処理部１０１ｂが映像データに付与した情報の中で、異常状態として検出された製品または生産ライン上の状態の映像のフレーム内の位置座標情報およびラベリング情報が同一であり、且つ、撮影した映像において異常状態が検出されたカメラ１１１の位置が生産ラインの移動方向において隣り合っており異常状態が検出された時刻が連続性を有する、といった条件が例示される。予め決められた条件は、予め決められて異常追跡処理部１０１ｃに記憶されている。
　このとき、異常追跡処理部１０１ｃは、１つのカメラ１１１の映像のフレームの時間情報を基準として、同一の異常状態を映した時間的に最も近い別のカメラ１１１の映像のフレームを連続させる。異常追跡処理部１０１ｃは、異常状態が検出されてから生産ラインが停止するまで、複数のカメラ１１１間にわたって同様に映像を比較する処理を行う。そして、異常追跡処理部１０１ｃは、複数のカメラ１１１の映像に映った異常状態が同一の異常状態であると判定された場合は、上述したように複数のカメラ１１１の映像に映った異常状態を同一の異常状態として異常状態の移動の軌跡を追跡し、映像を連結して記録映像のデータを作成するという追跡処理を施す。
　記録処理部１０１ｄは、異常追跡処理部１０１ｃによって追跡処理が施されて連結された映像に対して、検出された異常状態に付随する情報を紐づけて、追跡処理が施されて連結された記録映像と異常状態に付随する情報とを、記憶部１０２に記憶させる処理を行う。追跡処理が施されて連結された記録映像の映像データは、上書き不可情報が付与された映像データが連結されているため、上書き不可な映像データである。異常状態に付随する情報は、異常状態に関する情報である。
　記録処理部１０１ｄは、同一の異常状態に関連する各種の情報である異常状態に付随する情報を、異常追跡処理部１０１ｃが連結した上書き不可な記録映像の映像データに紐付けて記録する記録処理を施す。具体的に、記録処理部１０１ｄは、異常追跡処理部１０１ｃが連結した上書き不可な記録映像の映像データに対して、記憶部１０２にデータテーブルを作成する。データテーブルは、検出された異常状態ごとに個別に作成される。
　記録処理部１０１ｄは、異常検出処理部１０１ｂが生産ラインの異常状態が検出された映像の映像データに対して付与した情報を、当該異常状態に対応するデータテーブルに全て格納する。また、記録処理部１０１ｄは、映像のフレームの中で映った異常状態の情報の精度が最も高いフレームのデータを、サムネイル画像のデータとして同様にデータテーブルに格納する。１つのデータテーブルに格納されて記憶された情報は、同一の異常状態に関連する情報であり、同一のデータテーブルに記憶された情報は互いに紐付けられている。
　表示指示部１０１ｅは、記憶部１０２に記憶された記録情報をユーザからの指示に従って表示部１０３に表示させるユーザインターフェース部である。表示指示部１０１ｅは、ユーザが表示部１０３に表示させたい情報を検索または指定する画面を表示部１０３に表示させて、入力部１０５による必要な情報の入力をユーザに促す。ユーザは、異常状態が検出されていないリアルタイム映像、記憶部１０２に記録された過去の異常状態の映像など、表示部１０３で表示させたい各種の映像または情報を、入力部１０５を用いて選択し、指示することができる。
　表示指示部１０１ｅは、入力部１０５によってユーザから入力された情報に基づいて、ユーザによって指示された情報を検索して検索結果を表示部１０３に表示し、またはユーザによって指示された情報を表示部１０３に表示する制御を行う。
　記憶部１０２は、記録処理部１０１ｄによって紐付けられた映像データおよび異常状態に付随する情報を格納して記憶する。記憶部１０２は、第１記憶領域１０２ａと第２記憶領域１０２ｂとの、独立した２つの異なる記憶領域を有する。記憶部１０２は、異常状態が検出されなかったときに各カメラ１１１から配信された上書き可能な映像を、第１記憶領域１０２ａに記憶する。記憶部１０２は、異常状態が検出されて異常検出処理部１０１ｂ、異常追跡処理部１０１ｃおよび記録処理部１０１ｄによって処理された上書き不可な映像の映像データおよび当該上書き不可な映像に関連する情報を、第２記憶領域１０２ｂに記憶する。上書き不可な映像に関連する情報は、検出された異常状態に付随する情報である。すなわち、記憶部１０２は、上書き可能な映像の映像データと、上書き不可な映像の映像データおよび当該上書き不可な映像に関連する情報と、を異なる記憶領域にそれぞれ記憶する。第２記憶領域１０２ｂには、上述したデータテーブルが記録処理部１０１ｄによって作成される。
　表示部１０３は、表示指示部１０１ｅによって指示された各種の情報を表示する。表示部１０３は、表示指示部１０１ｅによって指示された映像または情報を表示する。ただし、表示部１０３は、現在進行形で異常状態が検出された場合は、優先的に当該異常状態が追跡処理された映像および情報を表示する。表示部１０３は、液晶モニタなどの表示機器が例示される。
　監視通信部１０４は、カメラ１１１との間で無線通信を行って映像データまたは情報の送受信を行う。また、監視通信部１０４は、ＦＡコントローラ２０１との間で無線通信を行って情報の送受信を行う。なお、監視通信部１０４の通信方法は、無線通信に限定されず、有線通信であってもよい。
　入力部１０５は、入力機器を備えて構成され、ユーザからの指示情報を受け付けて、受け付けた指示情報を表示指示部１０１ｅに送信する。入力機器は、キーボード、タッチパネルなどの機器が例示される。
　図６は、実施の形態１にかかる生産ライン監視システム１が生産ラインの監視を行う際の処理手順の一例を示すフローチャートである。
　生産ライン監視システム１において生産ラインの監視が開始されると、ステップＳ１０において、生産ライン監視システム１において監視対象とされる生産ラインの監視映像である、カメラ１１１が生産ラインを撮影したカメラ映像を取得するカメラ映像取得工程が行われる。カメラ映像取得工程では、生産ライン監視システム１において監視対象とされる生産ラインの周囲に配置された複数のカメラ１１１が、生産ラインを撮影することにより生産ラインの映像データを取得する。ここでの、映像データは、上書き可能な映像データである。
　複数のカメラ１１１は、上書き可能な映像データを走査周波数制御部１０１ａおよび異常検出処理部１０１ｂに配信する。走査周波数制御部１０１ａおよび異常検出処理部１０１ｂは、複数のカメラ１１１から映像データを受信することで、生産ラインの映像データを取得する。
　ステップＳ２０において、キャリブレーション処理が行われる。キャリブレーション処理では、生産ラインの移動速度が未知である場合は、認識が容易な印を生産ラインに付けておく。そして、走査周波数制御部１０１ａが、複数のカメラ１１１のうち代表される１台のカメラ１１１により撮影された映像に基づいて、現実の物理長さ単位と映像内のピクセル長さ単位との比率を算出することでキャリブレーション処理を行う。また、カメラ１１１により撮影された映像に基づいて、印の通過速度を画像処理によって算出する。
　ここで、キャリブレーション処理の具体的な方法について説明する。図７は、実施の形態１において、カメラ１１１から取得された映像から生産ラインの移動速度を算出する方法の一例を説明する図である。図８は、実施の形態１において、カメラ１１１から取得された映像内に映る目印１３０の移動を説明する図である。
　図７に示すように、幅および長さが既知であるテープ等の目印１３０が予め、生産ラインに貼付される。すなわち、コンベヤベルト２０４に目印１３０が予め添付される。そして目印１３０が、カメラ１１１によって撮影される。つぎに、走査周波数制御部１０１ａが、カメラ１１１によって撮影された映像の映像データを用いて、目印１３０の幅および長さの既知の現実の長さの数値を入力値として、目印１３０の幅および長さの現実の長さの数値と映像内に映る目印１３０のピクセル長さの数値との比率を画像処理によって算出する。
　このとき、カメラ１１１のレンズの歪みによって、映像における画像端部に近づくほど比率が変化してしまう。このため、走査周波数制御部１０１ａは、レンズの歪みの影響を補正するレンズ歪み補正を行い、映像に映った画像に合わせた一定の比率を算出する。本実施の形態１では、この処理をキャリブレーション処理と定義する。
　図８において、左側の目印１３０Ｌは、撮影された映像における１つのフレームでの目印１３０を示している。図８において、右側の目印１３０Ｒは、撮影された映像における次のフレームでの目印１３０を示している。すなわち、目印１３０は、撮影された映像の連続する２つのフレーム間で、左側の目印１３０Ｌの位置から右側の目印１３０Ｒの位置まで移動している。左側の目印１３０Ｌの位置から右側の目印１３０Ｒの位置まで目印１３０が映像内で移動した距離が、映像内に映る目印１３０のピクセル長さでの移動距離である。
　走査周波数制御部１０１ａは、撮影された映像のフレーム間での、目印１３０のピクセル長さでの移動距離から、算出された比率を用いて、１フレーム間の時間での目印１３０の現実の移動距離を算出する。走査周波数制御部１０１ａは、算出された目印１３０の現実の移動距離と、１フレーム間の時間と、から生産ラインの移動速度を算出する。走査周波数制御部１０１ａは、上記の計算を複数回行い、生産ラインの移動速度の平均値を算出する。
　ステップＳ３０において、複数のカメラ１１１のシャッタースピードを一括して制御するための走査周波数の算出が必要であるか否かが判定される。すなわち、走査周波数の取得の必要性の有無が判定される。具体的に、走査周波数制御部１０１ａが、カメラ１１１のシャッタースピードを制御するための走査周波数を取得する必要性があるかを判定する処理を実施する。
　走査周波数制御部１０１ａは、生産ライン監視システム１が新規環境に設置された場合など、生産ライン監視システム１の起動時において走査周波数制御部１０１ａが走査周波数の値を保持していない場合に、走査周波数の取得が必要であると判定する。走査周波数制御部１０１ａは、生産ライン監視システム１が既存環境で起動される場合など、生産ライン監視システム１の起動時において走査周波数制御部１０１ａが走査周波数の値を保持している場合に、走査周波数の取得が不要であると判定する。
　走査周波数を取得する必要があると判定された場合は、ステップＳ３０においてＹｅｓとなり、ステップＳ４０に進む。走査周波数を取得する必要が無いと判定された場合は、ステップＳ３０においてＮｏとなり、ステップＳ５０に進む。
　ステップＳ４０では、走査周波数の算出が行われる。具体的に、走査周波数制御部１０１ａが、複数のカメラ１１１のうちの代表となる１台のカメラ１１１から、キャリブレーション処理により取得された生産ラインの移動速度の平均値を用いて、全てのカメラ１１１にとって適切な走査周波数を算出する処理を実施する。算出された走査周波数は、走査周波数制御部１０１ａに記憶されて保持される。
　ここで、キャリブレーション処理から走査周波数を算出する具体的な方法について説明する。適切な走査周波数とは、カメラ１１１において、カメラ１１１が備えるイメージセンサの全画素が一度の露光で受光し、電荷が励起するのに必要な秒数の逆数である。この適切な走査周波数は、カメラ１１１が移動する物体を撮影するとき、撮影した全てのフレーム内で撮影対象物をぶれずに映すことが可能な最小シャッタースピードの逆数と同値である。
　撮影対象物がフレーム内でぶれずに撮像されるためには、最小シャッタースピードの時間内に撮影対象物が移動する距離が、フレーム内で撮影対象物をぶれずに映すために許容されるぶれ幅である許容ぶれ幅内に収められなければならない。撮影対象物は、キャリブレーション結果から得られた生産ラインの移動速度をＲ［ｍ／ｓｅｃ］で移動することになる。走査周波数制御部１０１ａは、キャリブレーション処理によって得られた現実の長さと画像内のピクセル長さの比率を用いて、映像内での移動速度をＲ’［ｐｘ／ｓｅｃ］と変換する。映像の１フレームにおける許容ぶれ幅をｘ［ｐｉｘｅｌ（ｐｘ）］としたとき、適切な最小シャッタースピードω［ｓｅｃ］は、以下の式（１）によって算出される。
　ω＝ｘ／Ｒ’　　　・・・（１）
　そして、適切な走査周波数は、式（１）により算出される最小シャッタースピードω［ｓｅｃ］の逆数である、１／ω［Ｈｚ］と表すことができる。
　つぎに、ステップＳ５０において、複数のカメラ１１１の同期処理が行われる。複数のカメラ１１１の同期処理では、具体的に、走査周波数制御部１０１ａが、算出した走査周波数を全てのカメラ１１１に送信してフィードバックする。全てのカメラ１１１は、走査周波数制御部１０１ａから送信された走査周波数を受信する。各カメラ１１１のシャッタースピードは、走査周波数制御部１０１ａから送信された走査周波数の値から求められ、同値となる。
　また、走査周波数制御部１０１ａは、各カメラ１１１のシャッタースピードを変えて各カメラ１１１からの映像の配信を開始する時間を指定する情報として、直近の時刻の情報を全てのカメラ１１１に走査周波数とともに送信する。これにより、走査周波数制御部１０１ａは、各カメラ１１１の撮影タイミング、すなわち各カメラ１１１のシャッタータイミングの同期を行う処理を実施する。
　各カメラ１１１は、走査周波数制御部１０１ａから受信した直近の時刻の情報に従って、受信した走査周波数に基づいてシャッタースピードを変えて、走査周波数制御部１０１ａおよび異常検出処理部１０１ｂへの映像の配信を開始する。全てのカメラ１１１は、上記の処理を行って同期することで、各カメラ１１１で撮影された映像の各フレーム時間情報の誤差を極力減らすことが可能となる。各カメラ１１１間において、カメラ１１１で撮影された映像におけるフレーム間のフレームの時間情報の誤差を極力小さくすることで、異なるカメラ１１１で撮影された映像のフレーム間での時間的な相互参照が可能となる。
　ステップＳ６０において、異常状態を検出する異常検出工程が行われて、生産ラインに異常状態が検出されたか否かが判定される。具体的に、異常検出処理部１０１ｂが、複数のカメラ１１１から取得した映像データと、予め記憶している生産ラインの正常状態を表す映像データとを比較することによって、生産ラインに発生している異常状態を検出する。すなわち、異常検出処理部１０１ｂは、複数のカメラ１１１から取得した、現在の生産ラインの映像と、予め記憶された正常な状態の生産ラインを表す映像とを比較することによって、生産ラインに発生している異常状態を検出する。
　生産ラインに異常状態が検出されたと判定された場合は、ステップＳ６０においてＹｅｓとなり、ステップＳ７０に進む。生産ラインに異常状態が検出されていないと判定された場合は、ステップＳ６０においてＮｏとなり、ステップＳ１２０に進む。
　ステップＳ７０では、異常状態に関する情報である異常情報の付与が行われる異常情報付与工程が行われる。異常状態に関する情報は、異常状態に付随する情報である。具体的に、異常検出処理部１０１ｂが、映像内に検出された異常状態の異常部分を囲む枠を映像の各フレームに付与する。また、異常検出処理部１０１ｂは、各カメラ１１１から配信された映像データに対して、映像に対する上書きを禁止する旨の上書き不可情報であるヘッダ情報を付与する。また、異常検出処理部１０１ｂは、各カメラ１１１の映像データに付与する異常状態に関する情報として、ラベリング情報、映像のフレーム内で検出された異常状態と検出された物体の映像のフレームにおける位置座標情報、正常状態との差異部分の映像のフレーム内の位置座標情報、といった情報を付与する処理を実施する。
　つぎに、ステップＳ８０において、異常状態の追跡処理を行う追跡処理工程が行われる。具体的に、異常追跡処理部１０１ｃが、複数のカメラ１１１から取得される映像にステップＳ７０において映像に付与された、異常状態に関する情報を比較することで、複数のカメラ１１１の間で検出された異常状態が同一か否かを判定する。異常追跡処理部１０１ｃは、複数のカメラ１１１の映像で検出された異常状態が同一の異常状態であると判定された場合は、異常状態が検出された複数のカメラ１１１の映像の中で異常状態の原因となった製品２０７または生産ラインの状況の時間的に連続な移動を追跡する処理を実施する。
　ここで、追跡処理の画像処理の流れについて、具体的な例を用いて説明する。図９は、実施の形態１にかかる生産ライン監視システム１において異常状態が検出されたときの生産ラインの具体的な状況の一例を示す図である。図９で示されている状況は、カメラ１１１－１によって撮影された映像において異常状態が検出され、アラームがＦＡコントローラ２０１に通知されて生産ラインが停止するが、生産ラインが停止するまでの間に異常状態の原因となる物体が移動してしまいカメラ１１１－４の前で停止している状況である。生産ラインが停止した状態は、駆動装置２０２が停止して、ベルトコンベヤ２０３による製品の搬送が停止した状態である。
　以下では、カメラ１１１－１によって撮影された映像において検出された異常状態が、カメラ１１１－４の前で停止している異常状態と同一の異常状態であると判定されるまでの処理の詳細について説明する。まず、異常検出処理部１０１ｂは、カメラ１１１－１から送信された映像データから異常状態を検出した場合、異常状態と判断された製品２０７または生産ラインの状況を映像内で囲む枠を追加する画像処理を施す。枠は、カメラ１１１－１から送信された映像データの全てのフレームにおいて追加される。
　そして、異常検出処理部１０１ｂは、異常状態の原因の候補として予め異常検出処理部１０１ｂに記憶されている複数の異常原因のラベリング情報のうち検出された異常状態に該当すると推測される異常原因のラベリング情報、および枠内における異常状態のフレームにおける位置座標情報を各映像データのフレームに追加する。異常検出処理部１０１ｂは、これらのラベリング情報および位置座標情報をカメラ１１１－１の情報として記憶して保持する。カメラ１１１－１の情報は、カメラ１１１の情報である。
　異常検出処理部１０１ｂは、異常状態の原因となった製品２０７または生産ラインの状況がカメラ１１１－１の撮影範囲から外れて別のカメラ１１１の撮影範囲に入り、当該カメラ１１１によって撮影された映像において異常状態を検出した場合、上述したカメラ１１１－１の場合と同様に、当該カメラ１１１で撮影された映像に対しても、上述したように枠、ラベリング情報、および枠内における異常状態のフレームにおける位置座標情報を、撮影された映像に対して追加し、当該カメラ１１１の情報として記憶して保持する。異常検出処理部１０１ｂは、複数のカメラ１１１について、当該カメラ１１１において撮影された映像の映像データと各カメラ１１１の情報とを、異常追跡処理部１０１ｃに送信する。
　異常追跡処理部１０１ｃは、複数のカメラ１１１について、各カメラ１１１において撮影された映像の映像データと各カメラ１１１の情報とを、異常検出処理部１０１ｂから受信する。異常追跡処理部１０１ｃは、最初に異常状態が検出されてから、異常状態が解消されて生産ラインの動作が再開されるまで、各カメラ１１１の情報を比較する。異常追跡処理部１０１ｃは、複数のカメラ１１１についてのカメラ１１１の情報におけるラベリング情報が一致するか、複数のカメラ１１１についてのカメラ１１１の情報において枠内における異常状態のフレームにおける位置座標情報が近しい値であるか、そして撮像フレームに付加されている撮影時刻情報が近しい時間であるか、といった条件を予め設定している。撮像フレームに付加されている撮影時刻情報は、撮像フレームが撮影された時刻の情報である。
　異常追跡処理部１０１ｃは、異なる複数のカメラ１１１についてのカメラ１１１の情報がこれらの条件に当てはまる場合は、異なるカメラ１１１の映像に映った異常状態が同一の異常状態であると判定する。そして、異常追跡処理部１０１ｃは、複数のカメラ１１１で検出された異常状態が移動した軌跡を追跡する。
　図９に示される状況では、異常検出処理部１０１ｂにおいてカメラ１１１－１によって撮影された映像において、製品２０７が正常状態と異なる異常状態と判定されている。また、カメラ１１１－２、カメラ１１１－３およびカメラ１１１－４のそれぞれによって撮影された映像において、製品２０７が正常状態と異なる異常状態と判定されている。このとき、異常検出処理部１０１ｂでは、各カメラ１１１によって撮影された映像内で検出された異常状態について、上述したように枠、ラベリング情報、および枠内における異常状態のフレームにおける位置座標情報を、撮影された映像に対して追加し、当該カメラ１１１の情報として記憶して保持する。
　ここで、偶数番号のカメラ１１１は、奇数番号のカメラ１１１に対して生産ラインであるベルトコンベヤ２０３を挟んで反対側に配置されている。すなわち、偶数番号のカメラ１１１は、生産ラインであるベルトコンベヤ２０３を挟んで奇数番号のカメラ１１１と反対側から生産ラインを撮影している。このため、異常追跡処理部１０１ｃは、偶数番号のカメラ１１１で撮影された映像と奇数番号のカメラ１１１で撮影された映像とにおける位置座標を統一して、座標位置情報の比較を行う。すなわち、異常追跡処理部１０１ｃは、検出されて枠が追加されたフレームにおける位置座標を上下について反転して座標位置情報の比較を行う。
　また、これらのカメラ１１１の情報と、隣接したカメラ１１１の位置情報と、あるカメラ１１１の映像において検出された異常状態が映っている映像のフレームの終わりの撮影時刻情報と、生産ラインの移動方向において当該カメラ１１１の次の位置にあたるカメラ１１１の映像において検出された異常状態が映っている映像のフレームの始まりの撮影時刻情報が、異常検出処理部１０１ｂから異常追跡処理部１０１ｃに送信される。異常追跡処理部１０１ｃは、複数のカメラ１１１について、これらの情報を比較する。異常追跡処理部１０１ｃは、比較結果から、複数のカメラ１１１に映っている異常状態が同一の異常状態であるかどうかを判定する。そして、異常追跡処理部１０１ｃは、複数のカメラ１１１の映像に映った異常状態が同一の異常状態であると判定された場合は、異常状態が映っているカメラ１１１の映像の終わりのフレームと、異常状態が映っている隣接する次のカメラの映像の始まりのフレームと、を連結させる。
　カメラ１１１－１以外の各カメラ１１１によって撮影された映像で同様に検出された異常状態は、前述のように生産ラインが停止したときのアラームの原因であるカメラ１１１－１の映像で検出された異常状態と、異常追跡処理部１０１ｃにおいて比較されて同一性が判定される。これにより、現在に発生した異常状態は、カメラ１１１－１によって撮影された映像で最初に異常状態が検出され、カメラ１１１－２、カメラ１１１－３の前を通り、カメラ１１１－４の前に位置しており、カメラ１１１－４の映像に映り続けていることがわかる。
　そして、カメラ１１１－５の映像では、同様の異常状態は映らず、検出されていない。このことから、異常追跡処理部１０１ｃは、カメラ１１１－１の映像で最初に検出された異常状態は現在にカメラ１１１－４の前で停止している状況であると判定する。
　この異常追跡処理部１０１ｃの判定結果に基づいて、表示指示部１０１ｅが、カメラ１１１－１で異常状態が検出されてアラームが発生した状況の情報と、現在にカメラ１１１－４の前で異常状態の原因が停止している状況の情報とを、表示部１０３に表示させてユーザに通知する。すなわち、異常追跡処理部１０１ｃは、カメラ１１１－１の映像で最初に異常状態が検出された時の映像と、カメラ１１１－４のリアルタイム映像とを表示指示部１０１ｅに送信する。表示指示部１０１ｅは、当該映像を表示部１０３に表示させる。これにより、ユーザに速やかな異常状態の排除を促すことができる。
　図１０は、実施の形態１において、カメラ１１１－１で異常状態が検出されてアラームが発生した状況の情報と、現在にカメラ１１１－４の前で異常状態の原因が停止している状況の情報とが表示部１０３に表示されている状態を示す図である。図１０に示すように、表示部１０３においては、カメラ１１１－１で最初に異常状態が検出されてアラームが発生した状況のカメラ１１１－１の映像が左側の領域に表示され、カメラ１１１－４の前で異常状態の原因の物体が停止している状況のカメラ１１１－４の映像が右側の領域に表示される。
　つぎに、ステップＳ９０において、異常追跡処理部１０１ｃは、生産ラインが停止したか否かを判定する。ＦＡコントローラ２０１は、駆動装置２０２を停止させた後に、駆動装置２０２が停止した旨の停止情報を生産ライン監視装置１０に送信する。異常追跡処理部１０１ｃは、監視通信部１０４を介して停止情報を受信した場合に、生産ラインが停止したと判定する。異常追跡処理部１０１ｃは、停止情報を受信していない場合に、生産ラインが停止していないと判定する。
　生産ラインが停止していないと判定された場合は、ステップＳ９０においてＮｏとなり、ステップＳ７０に戻る。生産ラインが停止したと判定された場合は、ステップＳ９０においてＹｅｓとなり、ステップＳ１００に進む。
　ステップＳ１００では、異常追跡処理部１０１ｃは、複数のカメラ１１１の映像において同一の異常状態と判定される異常状態が検出されなくなってから、予め決められた待機時間が経過したか否かを判定する。
　予め決められた待機時間が経過していないと判定された場合は、ステップＳ１００においてＮｏとなり、ステップＳ７０に戻る。予め決められた待機時間が経過したと判定された場合は、ステップＳ１００においてＹｅｓとなり、ステップＳ１１０に進む。
　なお、ここでは、ステップＳ９０においてＹｅｓとなり、さらにステップＳ１００においてＹｅｓとなり、ステップＳ１１０に進むフローとされているが、ステップＳ９０の条件およびステップＳ１００の条件のうち一方を満たす場合にステップＳ１１０に進むフローとされてもよい。すなわち、ステップＳ７０とステップＳ８０とは、異常状態の検出に基づいて生産ラインが停止するか、複数のカメラ１１１の映像において同一の異常状態と判定される異常状態が検出されなくなってから予め決められた待機時間が経過するまでループして行われてもよい。
　ステップＳ１１０では、記録処理部１０１ｄによって第２の記録処理が行われる。第２の記録処理において行われる処理には、２つの処理がある。
　１つ目の処理は、異常追跡処理部１０１ｃによって同一の異常状態であると判定された異常状態が映っている複数のカメラ１１１の映像について、時間的に連続していると推測できるフレームを連結することで１つの記録映像とすることである。
　２つ目の処理は、記録処理部１０１ｄが、記憶部１０２にデータテーブルを作成し、最初に異常状態が検出されたカメラ１１１の位置情報と、ステップＳ７０において付与された各情報と、生産ラインの停止時の異常状態の現在の位置情報と、サムネイル画像のデータと、をデータテーブルに追加して各情報を格納することで、異常状態が映った映像が連結された記録映像のデータに各情報を紐付けして記録できるようにする処理である。すなわち、記憶部１０２には、複数のカメラ１１１の位置情報を備え、異常検出処理部０１ｂにより異常状態が検出された場合、異常状態が検出された映像を撮影したカメラ１１１の情報と、異常状態が検出された映像を撮影したカメラ１１１の位置情報と、検出された異常状態の撮影画像であるサムネイル画像と、を異常状態が映った映像に紐づけて記録される。
　生産ラインの停止時の異常状態の現在の位置情報は、現在において異常状態がカメラ１１１に映っている状態であれば、異常状態が現在映っているカメラ１１１の位置情報とされる。生産ラインの停止時の異常状態の現在の位置情報は、現在において異常状態がカメラ１１１に映っていない状態であれば、異常状態が最後に映っていたカメラ１１１から推測される異常状態の位置情報とされる。サムネイル画像のデータは、異常状態の検出中の映像の中で映った異常状態の情報の精度が高く、異常状態の全体が映っているかを信頼度として数値化し、信頼度の数値が最も高いフレームを静止画としたサムネイル画像のデータである。また、サムネイル画像のデータは、異常状態の検出によるアラーム発生時において、異常状態の原因となる物体を映した記録画像の中から最も画像品質が良い記録画像を選んでサムネイル化したサムネイル画像のデータと換言できる。
　第２の記録処理が行われた処理結果および第２の記録処理の対象とされた映像のデータは、データテーブルに記憶され、保存される。その後、ステップＳ１３０に進む。
　記録処理部１０１ｄがデータテーブルに記憶させる情報には、上記の情報以外に記録映像に紐付ける情報を追加してもよい。例えば、同日に同様の異常状態が検出された回数の情報、最初に異常状態が検出された回数が多いカメラ１１１の近くに配置されている機器の情報、および、人に対する予知危機勧告などの情報が、追加でデータテーブルに格納されてもよい。
　一方、ステップＳ１２０では、第１の記録処理が行われる。第１の記録処理では、記録処理部１０１ｄが、異常状態が検出されなかったときに各カメラ１１１から配信された上書き可能な映像を異常検出処理部１０１ｂから取得し、記憶部１０２の第１記憶領域１０２ａに記憶させて保存する。すなわち、異常検出処理部１０１ｂにおいて、異常状態が検出されなければ、各カメラ１１１の映像は上書き可能な映像として記憶部１０２に保存されていく。また、検出された異常状態が生産ラインから排除され、停止した生産ラインの運転が再開される時に、ステップＳ６０での異常検出処理部１０１ｂにおける異常状態の検出状態はリセットされ、ステップＳ１０に戻る。
　ステップＳ１３０以降は、記憶部１０２に記憶された映像または情報の表示に関する処理が行われる。
　ステップＳ１３０では、再生指示を受信したか否かが判定される。具体的に、表示指示部１０１ｅは、記憶部１０２に記憶された映像または情報の再生指示を入力部１０５から受信したか否かを判定する。
　再生指示を受信したと判定された場合は、ステップＳ１３０においてＹｅｓとなり、ステップＳ１４０に進む。再生指示を受信していないと判定された場合は、ステップＳ１３０においてＮｏとなり、ステップＳ１５０に進む。
　ステップＳ１４０において、表示指示部１０１ｅは、ユーザが表示部１０３に表示させたい情報を検索または指定する条件検索画面を表示部１０３に表示させて、入力部１０５による必要な情報の入力をユーザに促す。表示指示部１０１ｅは、記憶部１０２にアクセスし、アクセスした時間に近い幾つかの上書き不可な記録映像のサムネイル画像と条件検索画面を表示部１０３に表示する処理を行う。
　ユーザは表示された条件検索画面から異常状態が発生した時刻またはカメラ１１１の位置情報などの条件、および、サムネイル画像に基づいて所望の記録映像を検索し、表示部１０３に記録映像の表示を指示することができる。ユーザによって記憶部１０２に記憶された映像または情報の再生指示が入力部１０５から入力されると、入力部１０５は、再生指示を表示指示部１０１ｅに送信する。その後、ステップＳ１５０に進む。
　ステップＳ１５０においては、ステップＳ１３０において再生指示を受信していないと判定されてステップＳ１３０からステップＳ１５０に進んだ場合、表示指示部１０１ｅは、カメラ１１１から常に配信される上書き可能な映像をリアルタイムで表示部１０３に表示させる。表示指示部１０１ｅは、カメラ１１１から常に配信される上書き可能な映像を監視通信部１０４から取得してもよく、また記憶部１０２から取得してもよい。
　また、ステップＳ１５０においては、ステップＳ１３０において再生指示を受信したと判定されてステップＳ１４０からステップＳ１５０に進んだ場合、ステップＳ７０において異常状態に関する情報である異常情報の付与が行われ、ステップＳ８０において異常状態の追跡処理が実施した結果である記録映像を、異常状態が検出された時の映像と、ステップＳ１１０で第２の記録処理が行われた生産ラインの停止時の異常状態の現在の位置情報の判定結果とともに表示する。ステップＳ１１０で第２の記録処理が行われた映像においては、ステップＳ１１０で第２の記録処理が行われた生産ラインの停止時の異常状態の現在の位置情報の判定結果に含まれる生産ラインの停止時の異常状態の現在の位置情報は、現在において異常状態がカメラ１１１に映っている状態であれば、異常状態が現在映っているカメラ１１１の位置情報とされる。また、生産ラインの停止時の異常状態の現在の位置情報は、現在において異常状態がカメラ１１１に映っていない状態であれば、異常状態が最後に映っていたカメラ１１１から推測される異常状態の位置情報とされる。
　また、ステップＳ１４０において表示された条件検索画面で、日時情報、ラベリング情報などの条件を用いて検索された候補結果から選択された場合、またはサムネイル画像が選択された場合は、表示指示部１０１ｅは、記憶部１０２に記憶された記録映像と当該記録映像に関連する異常状態に付随する情報を表示する、記録映像および付随情報を表示部１０３に表示させる。
　図１１は、実施の形態１にかかる生産ライン監視装置１０の表示部１０３における表示画面の一例を示す図である。図１１に示す表示部１０３に表示された表示画面では、ユーザが再生したい映像を指定する場合、異常状態に関するラベリング情報または異常状態が検出された映像が撮影された日時情報をキーワードにして検索することができ、検索結果を表示できる。
　図１１に示す表示部１０３に表示された表示画面には、映像表示領域１０３１と、サムネイル表示領域１０３２と、付随情報表示領域１０３３と、日時情報表示領域１０３４と、が表示されている。
　サムネイル表示領域１０３２は、ユーザから入力されたキーワードによって検索した結果に当てはまる、記憶部１０２のデータテーブルに記憶されているサムネイル画像１３２のデータにより表示されるサムネイル画像１３２が、ユーザの検索対象の候補として並べて表示される。サムネイル表示領域１０３２にユーザの検索対象の候補となるサムネイル画像１３２が表示されることにより、再生指示をするユーザは、少ない検索条件を入力することにより、ユーザの検索対象の候補となるサムネイル画像１３２を見ることができる。
　ユーザは、サムネイル表示領域１０３２に表示されたサムネイル画像１３２から任意のサムネイル画像１３２を選択することにより、記憶部１０２に記憶されている、選択したサムネイル画像１３２に対応する記録映像を映像表示領域１０３１に表示させることができる。これにより、ユーザが所望の記録映像を検索して映像表示領域１０３１に表示させる際の負荷が低減され、記録映像の検索性を向上させることができる。
　映像表示領域１０３１は、追跡処理が施されて異常状態が映った、記憶部１０２に記録された記録映像が表示される。サムネイル表示領域１０３２に表示されたサムネイル画像１３２をユーザが選択することで、少ない操作で記録映像が映像表示領域１０３１に表示される。映像表示領域１０３１に表示される映像において、検出された異常状態は、枠１３１で囲まれている。映像表示領域１０３１に表示されたスライドバー１０３１ａを用いて記録映像の任意のタイミングを見ることができる。
　付随情報表示領域１０３３では、例えば複数のカメラ１１１の位置情報が表示される。また、付随情報表示領域１０３３では、映像が表示されている時および最初に異常状態が検出された時のカメラ１１１の位置、現在に映像表示領域１０３１に表示されている映像を映したカメラ１１１の位置、生産ラインの停止時のカメラ１１１の位置といった、各種条件におけるカメラ１１１の位置情報も表示される。入力部１０５を用いてカメラ１１１を選択する情報を入力することで、選択されたカメラ１１１が撮影した映像に対応する記録映像を映像表示領域１０３１で表示することができる。
　日時情報表示領域１０３４では、条件検索画面においてユーザが表示部１０３に表示させたい情報を検索した結果に当てはまる日付、時間の情報を表示する。また、日付および時間を別途指定することで、サムネイル表示領域１０３２に候補のサムネイル画像の一覧を表示することができる。
　上述したように、実施の形態１にかかる生産ライン監視システム１では、生産ライン監視装置１０は、生産ラインの移動速度が未知であっても、キャリブレーション処理を行うことで複数のカメラ１１１のシャッタータイミングが適正化されるように走査周波数を算出できる。また、生産ライン監視システム１内の全てのカメラ１１１で共有する走査周波数を走査周波数制御部１０１ａで算出できるため、単体のカメラを複数台導入する監視システムと比べて、複数台のカメラ１１１の導入および同期の制御が容易である。
　また、生産ライン監視システム１では、走査周波数制御部１０１ａによってカメラ１１１のシャッタータイミングが適正化されることにより、生産ラインの監視対象物をぶれることなく１フレームごとに確実に監視対象物および生産ラインを撮影して監視対象物および生産ラインを監視できる。これにより、生産ライン監視システム１では、画像処理による異常状態の検出率を高めることができる。
　また、生産ライン監視システム１では、異常検出処理部１０１ｂが画像処理によってリアルタイムな異常状態の検出を行い、異常状態が検出された映像に枠１３１などの異常状態に関する各種情報を追加する。これにより、生産ライン監視システム１では、映像を確認するときに、より速やかに、且つ、より具体的に、発生した異常状態の確認が可能となる。
　また、生産ライン監視システム１では、異常追跡処理部１０１ｃが、複数のカメラ１１１の映像において検出された異常状態に関する情報と、複数のカメラ１１１の映像のフレームの時間情報の連続性とを比較することで、複数のカメラ１１１の映像において検出された異常状態が同一の異常状態であるかどうかを判定する。そして、複数のカメラ１１１の映像において検出された異常状態が同一の異常状態であると判定された場合、異常追跡処理部１０１ｃが、検出された異常状態の移動の軌跡を追跡し、異常状態が映った映像を連結する追跡処理を行う。そして、異常追跡処理部１０１ｃは、撮影範囲が重複していない複数のカメラ１１１の映像を連結して、異常状態の移動の軌跡を特定できる記録映像を作成する。これにより、ユーザは、記録映像を確認することにより、カメラ１１１の個別の撮影範囲に限定されずに速やかな異常状態の原因の特定が可能となる。そして、異常状態の移動の軌跡である動線が導かれ、生産ラインにおける異常状態を起こしやすい位置を把握することができ、生産ラインの機器の予防保全に貢献できる。
　また、生産ライン監視システム１では、異常検出処理部１０１ｂによって異常状態が検出されて生産ラインが停止した場合、異常追跡処理部１０１ｃによって生産ラインが停止するまで検出した同一の異常状態を追跡する。これにより、複数のカメラ１１１の映像のいずれかに異常状態が映っていれば、異常状態を映しているカメラ１１１の位置を、生産ラインにおいて停止している異常状態の現在位置としてユーザに提示することができる。また、複数のカメラ１１１の映像のいずれにも異常状態が映っていなければ、最後に異常状態を映したカメラ１１１の位置から推定される異常状態の現在位置を、異常状態の現在位置としてユーザに提示することができる。これにより、ユーザは、異常状態の原因の現在位置を速やかに把握し、生産ラインから異常状態の原因を速やかに排除することが可能となり、速やかに生産ラインを再稼働させることができる。
　また、生産ライン監視システム１では、記録処理部１０１ｄは、異常状態が検出されない場合には、カメラ１１１の映像を上書き可能な記録映像として記憶部１０２に記憶させる。また、記録処理部１０１ｄは、異常状態が検出された場合には、異常状態を映している映像データに上書き不可情報を付与して一定期間およびユーザの指示がなければ上書きおよび削除ができないようにする。これにより、生産ライン監視システム１では、記憶部１０２の容量を効率的に使用することができる。
　また、生産ライン監視システム１では、異常状態を検出した時、上書き不可に処理された映像のデータテーブルに、異常状態に付随する各種情報を格納して記憶部１０２に記録する。異常状態に付随する各種情報には、異常検出処理部１０１ｂから送られる異常状態を検出したカメラ１１１の位置情報と、各カメラ１１１の異常検出時間の情報と、各カメラ１１１の映像の画像内において検出された異常状態が同一であるかを判断するためのフレーム内の位置座標情報と、検出された異常状態の現在の位置情報あるいは推定される異常状態の現在の現在位置情報と、明確に検出された異常状態が映っている１フレームの画像情報であるサムネイル画像１３２の情報と、が含まれる。これにより、ユーザが過去の異常状態を検索する際に必要な情報の候補を増やすことができ、異常状態の追跡結果の記録映像の検索性の向上が可能となる。
　また、生産ライン監視システム１では、表示部１０３に、記録処理部１０１ｄによって記録映像に紐付けされた各種の情報をわかりやすく表示できる。また、異常状態の検出によるアラーム発生時において、異常状態の原因となる物体を映した記録画像の中から最も画像品質が良い記録画像を選んでサムネイル化したサムネイル画像１３２を表示部１０３に表示できる。これにより、生産ライン監視システム１では、発生した異常状態が映った映像の再生指示時における指示画面上での異常状態の視認性を向上させることが可能となる。
　すなわち、生産ライン監視システム１では、追跡処理で作成された記録映像、異常状態を最初に検出したカメラ１１１の位置情報などの異常状態に付随する情報を記録映像に紐づけて記録することで、ユーザの記録映像再生指示時に視認性、検索性を向上させることができる。
　上述したように、本実施の形態１にかかる生産ライン監視システム１は、複数のカメラ１１１の映像において検出された異常状態が同一の異常状態であると判定された場合、異常追跡処理部１０１ｃが、検出された異常状態の移動の軌跡を追跡し、異常状態が映った映像を連結する追跡処理を行う。そして、異常追跡処理部１０１ｃは、撮影範囲が重複していない複数のカメラ１１１の映像を連結して、異常状態の移動の軌跡を特定できる記録映像を作成する。これにより、ユーザは、記録映像を確認することにより、カメラ１１１の個別の撮影範囲に限定されずに速やかな異常状態の原因の特定が可能となる。
　また、生産ライン監視システム１は、全てのカメラ１１１に同一の走査周波数に基づいて撮影をさせ、複数のカメラ１１１の撮影タイミングを制御することで、撮影された映像において検出された異常状態の原因を追跡し、生産ラインが異常状態の検出時に停止した際、異常状態の位置の特定を速やかに行い、異常状態の原因の排除を容易にすることが可能となる。
　また、生産ライン監視システム１は、異常状態の検出時に、異常状態の原因を撮影した画像、最初に異常状態が検出されたカメラ１１１の位置情報といった、異常状態の原因の情報をカメラ１１１の映像に紐づけて記憶部１０２に記憶し、表示する際にサムネイル化することで、視認性、検索性を向上することで、異常状態の原因の速やかな発見に貢献できるという効果を有する。
　したがって、実施の形態１にかかる生産ライン監視システム１によれば、撮影装置１１の個別の撮影範囲に限定されずに速やかな異常状態の原因の特定が可能となる、という効果を奏する。
実施の形態２．
　図１２は、実施の形態２にかかる生産ライン監視システム２が使用されるＦＡシステム２３０を示す図である。本実施の形態２にかかるＦＡシステム２３０は、生産ライン監視システム２と、駆動装置２０２と、ＦＡコントローラ２０１と、を備える制御システムである。なお、実施の形態２では、実施の形態１と同様の構成については、同じ符号を付して詳細な説明は省略する。
　生産ライン監視システム２は、生産ライン監視システム１と同様に工場の生産ラインにおける工程を監視するシステムであり、生産ライン監視装置２１と、複数の検出装置２２と、を備える。生産ライン監視システム２は、検出装置２２を用いて生産工程の稼働状態を撮影し、撮影した生産工程の稼働状態に基づいて生産工程の異常状態を検出する。また、生産ライン監視システム２は、検出装置２２を用いて、映像から取得できない生産ラインの工程の状態の情報を検出し、検出した情報に基づいて生産工程の異常状態を検出する。
　検出装置２２は、生産ラインの工程の状態を検出する状態検出部である。検出装置２２は、複数のカメラ１１１と、複数のセンサ１２１と、を備える。
　センサ１２１は、カメラ１１１で撮影された映像から取得できない生産ラインの工程の状態の情報を検出するセンサである。映像から取得できない生産ラインの工程の状態は、製品２０７または生産ラインの温度が例示される。複数のセンサ１２１は、ＦＡシステム２３０において駆動装置２０２であるモータにより駆動されるベルトコンベヤ２０３の周囲であって製品２０７または生産ラインの状態を取得可能な予め決められた互いに異なる位置に配置されている。センサ１２１は、生産ラインにおける複数の工程において監視したい任意の工程を監視するために十分な台数が配置される。センサ１２１は、生産ラインにおける全ての工程を監視したい場合には、全ての工程を監視するために十分な台数が配置される。
　図１３は、実施の形態２にかかる生産ライン監視システム２のセンサ１２１の機能構成を示すブロック図である。
　センサ１２１は、センサ検出部１２１ａと、センサ通信部１２１ｂと、センサ制御部１２１ｃと、を備える。
　センサ検出部１２１ａは、センサ制御部１２１ｃの制御に基づいて、カメラ１１１で撮影された映像から取得できない生産ラインの工程の状態の情報を取得する状態情報取得部である。
　センサ通信部１２１ｂは、生産ライン監視装置２１との間で双方向の無線通信を行う。
　センサ制御部１２１ｃは、センサ検出部１２１ａとセンサ通信部１２１ｂとを含む、センサ１２１全体を制御する。センサ制御部１２１ｃは、予め記憶している周期でセンサ検出部１２１ａに生産ラインの工程の状態を取得させる。
　図１４は、実施の形態２にかかる生産ライン監視装置２１の機能構成を示すブロック図である。生産ライン監視装置２１は、上述した生産ライン監視装置１０と同様に、工場の生産ラインにおける工程を監視するための監視装置である。生産ライン監視装置２１は、カメラ１１１を用いて撮影した生産工程の稼働状態に基づいて、生産工程の異常状態を検出する。また、生産ライン監視装置２１は、センサ１２１が検出した生産ラインの工程の状態の情報に基づいて、生産工程の異常状態を検出する。生産ライン監視装置２１は、監視制御部２１１と、記憶部１０２と、表示部１０３と、監視通信部１０４と、入力部１０５と、を備える。生産ライン監視装置２１の構成部は、互いに映像データおよび情報の授受が可能である。
　監視制御部２１１は、生産ライン監視装置２１の全体を制御する。また、監視制御部２１１は、走査周波数制御部２１１ａと、異常検出処理部２１１ｂと、異常追跡処理部２１１ｃと、記録処理部２１１ｄと、表示指示部２１１ｅと、を備える。監視制御部２１１の構成部は、互いに映像データおよび情報の授受が可能である。
　走査周波数制御部２１１ａは、既知の生産ラインの移動速度の情報が入力されることで、複数のカメラ１１１のシャッタースピードを一括して制御するための適切な走査周波数を算出して複数のカメラ１１１の撮影タイミングを一括して制御する。
　走査周波数制御部２１１ａは、各カメラ１１１のシャッタースピードを変えて各カメラ１１１からの映像の配信を開始する時間を指定する情報として、直近の時刻の情報を全てのカメラ１１１に走査周波数とともに送信する。これにより、走査周波数制御部２１１ａは、各カメラ１１１の撮影タイミング、すなわち各カメラ１１１のシャッタータイミングの同期を行う処理を実施する。
　各カメラ１１１は、走査周波数制御部２１１ａから受信した直近の時刻の情報に従って、受信した走査周波数に基づいてシャッタースピードを変えて、映像の配信を開始する。全てのカメラ１１１は、上記の処理を行って同期することで、各カメラ１１１で撮影された映像の各フレーム時間情報の誤差を極力減らすことが可能となる。各カメラ１１１間において、カメラ１１１で撮影された映像におけるフレーム間のフレームの時間情報の誤差を極力小さくすることで、異なるカメラ１１１で撮影された映像のフレーム間での時間的な相互参照が可能となる。
　異常検出処理部２１１ｂは、複数のカメラ１１１から送信される映像データおよび複数のセンサ１２１から送信されるセンサ検出情報と、予め記憶された正常状態を表す情報とを比較して生産ラインに発生している異常状態を検出する。異常検出処理部２１１ｂは、比較の結果、予め決められた閾値以上の差異があると判定される製品２０７または生産ラインの状況が各カメラ１１１から取得した映像に映っていた場合、生産ラインに発生している異常状態を検出したと判定し、アラームを出力する。
　また、異常検出処理部２１１ｂは、比較の結果、予め決められた閾値以上の差異があると判定される製品２０７または生産ラインの状況のセンサ検出情報がある場合に、生産ラインに発生している異常状態を検出したと判定し、アラームを出力する。異常検出処理部２１１ｂは、アラームの情報を、監視通信部１０４を介してＦＡコントローラ２０１に送信する。その他、異常検出処理部２１１ｂは、実施の形態１における異常検出処理部１０１ｂと同様の処理を行う。
　異常追跡処理部２１１ｃは、実施の形態１における異常追跡処理部１０１ｃと同様の処理を行う。
　記録処理部２１１ｄは、実施の形態１における記録処理部１０１ｄと同様の処理を行う。
　表示指示部２１１ｅは、実施の形態１における表示指示部１０１ｅと同様の処理を行う。
　図１５は、実施の形態２にかかる生産ライン監視システム２が生産ラインの監視を行う際の処理手順の一例を示すフローチャートである。
　生産ライン監視システム２において生産ラインの監視が開始されると、ステップＳ２１０において、生産ライン監視システム２において監視対象とされる生産ラインの監視映像である、カメラ１１１が生産ラインを撮影したカメラ映像を取得するカメラ映像取得工程が行われる。カメラ映像取得工程では、生産ライン監視システム１において監視対象とされる生産ラインの周囲に配置された複数のカメラ１１１が、生産ラインを撮影することにより生産ラインの映像データを取得する。ここでの、映像データは、上書き可能な映像データである。
　また、複数のセンサ１２１が、生産ライン監視システム２において監視対象とされる生産ラインの工程の状態の情報を検出するセンサ検出工程が行われる。センサ検出工程では、生産ライン監視システム２において監視対象とされる生産ラインの周囲に配置された複数のセンサ１２１が、生産ラインの工程の状態の情報を検出してセンサ検出情報を取得する。
　つぎに、上述したステップＳ２０と同様にして、ステップＳ２２０においてキャリブレーション処理が行われる。
　つぎに、ステップＳ２３０において、走査周波数制御部２１１ａが、既知である生産ラインの移動速度を入力として受信し、履歴として保存する。走査周波数制御部２１１ａは、カメラ１１１のシャッタースピードを制御するための走査周波数を算出する必要性があるかを判定する処理を実施する。走査周波数制御部２１１ａは、入力された生産ラインの移動速度が新規の入力値である場合は、走査周波数を算出する必要があると判定する。走査周波数制御部２１１ａは、入力された生産ラインの移動速度が既に入力されたことのある値の場合、および入力された値が十分に低速の場合は、走査周波数を算出する必要が無いと判定する。
　走査周波数を算出する必要があると判定された場合は、ステップＳ２３０においてＹｅｓとなり、ステップＳ２４０に進む。走査周波数を算出する必要が無いと判定された場合は、ステップＳ２３０においてＮｏとなり、ステップＳ２５０に進む。
　ステップＳ２４０では、走査周波数の算出が行われる。具体的に、走査周波数制御部２１１ａが、生産ラインの移動速度の入力値に基づいて、実施の形態１の場合と同様にして、全てのカメラ１１１にとって適切な走査周波数を算出する処理を実施する。算出された走査周波数は、走査周波数制御部２１１ａに記憶されて保持される。
　つぎに、ステップＳ２５０において、実施の形態１の場合と同様にして、複数のカメラ１１１の同期処理が行われる。複数のカメラ１１１の同期処理では、具体的に、走査周波数制御部２１１ａが、算出した走査周波数を全てのカメラ１１１に送信してフィードバックする。全てのカメラ１１１は、走査周波数制御部２１１ａから送信された走査周波数を受信する。各カメラ１１１のシャッタースピードは、走査周波数制御部２１１ａから送信された走査周波数の値から求められ、同値となる。
　つぎに、ステップＳ２６０において、異常状態を検出する異常検出工程が行われて、生産ラインに異常状態が検出されたか否かが判定される。具体的に、異常検出処理部２１１ｂが、複数のカメラ１１１から取得した映像データと、予め記憶している生産ラインの正常状態を表す映像データとを比較することによって、生産ラインに発生している異常状態を検出する。すなわち、異常検出処理部２１１ｂは、複数のカメラ１１１から取得した、現在の生産ラインの映像と、予め記憶された正常な状態の生産ラインを表す映像とを比較することによって、生産ラインに発生している異常状態を検出する。
　また、異常検出処理部２１１ｂが、複数のセンサ１２１から取得したセンサ検出情報と、予め記憶された正常状態を表す情報とを比較して生産ラインに発生している異常状態を検出する。
　生産ラインに異常状態が検出されたと判定された場合は、ステップＳ２６０においてＹｅｓとなり、ステップＳ２７０に進む。生産ラインに異常状態が検出されていないと判定された場合は、ステップＳ２６０においてＮｏとなり、ステップＳ３２０に進む。
　ステップＳ２７０では、異常状態に関する情報である異常情報の付与が行われる異常情報付与工程が行われる。異常状態に関する情報は、異常状態に付随する情報である。具体的に、異常検出処理部２１１ｂが、映像内に検出された異常状態の異常部分を囲む枠１３１を映像の各フレームに付与する。また、異常検出処理部２１１ｂは、各カメラ１１１から配信された映像データに対して、映像に対する上書きを禁止する旨の上書き不可情報であるヘッダ情報を付与する。また、異常検出処理部２１１ｂは、各カメラ１１１の映像データに付与する異常状態に関する情報として、ラベリング情報、映像のフレーム内で検出された異常状態と検出された物体の映像のフレームにおける位置座標情報、正常状態との差異部分の映像のフレーム内の位置座標情報、センサ１２１から受信したセンサ検出情報といった情報を付与する処理を実施する。
　このとき、例えばセンサ１２１により得られる傷の深度または温度などの情報から映像に対して色付けした別の映像を追加で用意してもよい。
　以降のステップＳ２８０からステップＳ３５０の処理は、図６におけるステップＳ８０からステップＳ１５０の処理と同様であるため、説明を割愛する。
　図１６は、実施の形態２における走査周波数の算出時の一例を示す図である。実施の形態２では、生産ラインの移動速度が既知である場合、キャリブレーション処理で現実長さ単位とピクセル長さ単位の比率を算出後、生産ラインの移動速度をユーザが生産ライン監視装置２１に入力し、入力された生産ラインの移動速度の数値に基づいて走査周波数が算出される。例えば、生産ラインの移動速度の入力が、Ｍｓ：回転速度［ｒｐｍ］となる。そして、算出結果は、１／ω：走査周波数［Ｈｚ］となる。
　また、生産ラインの移動速度が十分に低速で、映像内で異常状態の判定を行う対象物が単位距離を移動する時間が、走査周波数を共有せずとも各カメラ１１１の撮影タイミングのずれによるフレーム間の時間情報の誤差と比べて十分に大きい場合、走査周波数の算出をせずに異常状態の検出の処理を開始してもよい。この場合は、図１６に示すように、図７において生産ラインに貼付された目印１３０は、生産ラインに貼付されない。
　上述した実施の形態２にかかる生産ライン監視システム２は、実施の形態１にかかる生産ライン監視システム１と同様の効果を有する。
　また、生産ライン監視装置２１の監視対象である生産ラインの回転速度が既知である場合においても、実施の形態１の式（１）で説明した最小シャッタースピードを算出することができるため、適切な走査周波数も算出することができる。このことから、生産ライン監視システム２は、生産ラインの移動速度が既知な生産ラインの工程の監視に対して、単体のカメラを複数台導入する監視システムと比べて、複数台のカメラ１１１の導入および同期の制御が容易である。
　また、生産ライン監視システム２は、カメラ１１１のシャッタースピードの初期値が設定されてもよい。生産ラインの移動速度が十分に低速で、式（１）の右辺が左辺であるシャッタースピードの初期値に比べて十分に大きな値になることが明らかな場合、適切な走査周波数はシャッタースピードの初期値の逆数として算出され、その他の数値の入力を必要としない。このことから、生産ライン監視システム２は、生産ラインの移動速度が十分に低速な工程の監視に対して、容易に導入することが可能である。
　なお、１つのカメラ１１１と、１つのセンサ１２１と、１つの異常検出処理部２１１ｂとを備えた検出装置を複数設けた構成とされてもよい。この場合、複数の検出装置２２は、互いに独立している。カメラ１１１とセンサ１２１とは、それぞれ異常検出処理部２１１ｂと接続されている。検出装置２２の内部では、カメラ１１１は上書き可能な映像の映像データを異常検出処理部２１１ｂおよび生産ライン監視装置２１に配信する。センサ１２１は生産ラインの工程に流れる製品２０７または生産ラインの状況を検出し、得られたセンサ検出情報を異常検出処理部２１１ｂに送信する。
　異常検出処理部２１１ｂでは、カメラ１１１から送信された映像データを予め記憶された正常状態を表す映像データと比較する。また、異常検出処理部２１１ｂでは、センサ１２１から取得された検出情報も同様に予め記憶された正常状態を表す情報と比較する。その他、異常検出処理部２１１ｂは、上記の異常検出処理部２１１ｂおよび実施の形態１における異常検出処理部１０１ｂと同様の処理を行う。
　異常追跡処理部２１１ｃは、検出装置２２の各異常検出処理部２１１ｂが出力した映像および映像に付与された情報から実施の形態１と同様に処理を行い、同一の異常状態であると判定された場合は同一の異常状態としてタグ付けすることで追跡処理を施す。
　このような構成とすることにより、生産ライン監視装置２１の検出装置は、複数のカメラ１１１と異常検出処理部２１１ｂとを内蔵している構成となり、各カメラ１１１は他のカメラ１１１から独立して稼働することも可能である。そのため、生産ライン監視システムの処理限界の上限台数までカメラ１１１を増やすこと、または生産ライン監視システムの縮小に合わせてカメラ１１１の台数を減らすことに対応することが容易となる。これにより、新規の生産ラインを追加して同一の生産ライン監視システムに組み込みたい要望に合わせたカメラ１１１の増台、または生産ライン監視システムの導入後に不必要と感じた箇所の生産ライン監視装置の削減要望に合わせたカメラ１１１の減台といった、ユーザの希望に柔軟に対応した生産ライン監視システムのメンテナンスが容易となる。
　上述した実施の形態１にかかる生産ライン監視装置１０および実施の形態２にかかる生産ライン監視装置２１のそれぞれは、パーソナルコンピュータまたは汎用コンピュータといったコンピュータシステムにより実現される。図１７は、実施の形態１にかかる生産ライン監視装置１０および実施の形態２にかかる生産ライン監視装置２１のそれぞれの機能をコンピュータシステムで実現する場合のハードウェア構成を示す図である。生産ライン監視装置１０および生産ライン監視装置２１のそれぞれの機能をコンピュータシステムで実現する場合、生産ライン監視装置１０および生産ライン監視装置２１のそれぞれの機能は、図１７に示すように、演算処理を行うプロセッサ３０１と、プロセッサ３０１がワークエリアに用いるメモリ３０２と、生産ライン監視装置１０および生産ライン監視装置２１のそれぞれの装置として動作するためのプログラムを記憶する記憶装置３０３と、ユーザとの間の入力インタフェースである入力装置３０４と、ユーザに情報を表示する表示装置３０５と、他の各種装置との通信機能を有する通信装置３０６と、を備える。プロセッサ３０１、メモリ３０２、記憶装置３０３、入力装置３０４、表示装置３０５および通信装置３０６はデータバス３０７で接続されている。ここで、プロセッサ３０１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、またはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などであってもよい。また、メモリ３０２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、またはＥＥＰＲＯＭ（登録商標）（Ｅｌｅｃｔｒｉｃａｌｌｙ　ＥＰＲＯＭ）などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）などが該当する。
　監視制御部１０１，２１１のそれぞれは、例えば、図１７に示すメモリ３０２に記憶された監視プログラムをプロセッサ３０１が実行することにより、実現される。監視プログラムは、実施の形態１，２において説明した監視方法をコンピュータで実行するための監視ソフトウェアプログラムである。また、複数のプロセッサおよび複数のメモリが連携して上記機能を実現してもよい。また、監視制御部１０１，２１１の各機能のうちの一部を電子回路として実装し、他の部分をプロセッサ３０１およびメモリ３０２を用いて実現するようにしてもよい。
　生産ライン監視装置１０および生産ライン監視装置２１のそれぞれが実行する生産ライン監視方法の機能は、監視プログラムとして記述されて記憶装置３０３に格納される。プロセッサ３０１は、記憶装置３０３に記憶された監視プログラムをメモリ３０２に読み出して実行することにより生産ライン監視装置１０および生産ライン監視装置２１の各機能を実現する。すなわち、コンピュータシステムは、生産ライン監視装置１０および生産ライン監視装置２１のそれぞれの各機能がプロセッサ３０１により実行されるときに、実施の形態１，２にかかる生産ライン監視方法を実施するステップが結果的に実行されることになる監視プログラムを格納するための記憶装置３０３を備える。
　また、この生産ライン監視プログラムは、生産ライン監視装置１０および生産ライン監視装置２１のそれぞれの各機能が実現する処理をコンピュータに実行させるものであるともいえる。表示装置３０５の具体例は、モニタ、ディスプレイである。入力装置３０４の具体例は、キーボード、マウス、タッチパネルである。
　以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１，２　生産ライン監視システム、１０，２１　生産ライン監視装置、１１　撮影装置、２２　検出装置、１０１，２１１　監視制御部、１０１ａ，２１１ａ　走査周波数制御部、１０１ｂ，２１１ｂ　異常検出処理部、１０１ｃ，２１１ｃ　異常追跡処理部、１０１ｄ，２１１ｄ　記録処理部、１０１ｅ，２１１ｅ　表示指示部、１０２　記憶部、１０２ａ　第１記憶領域、１０２ｂ　第２記憶領域、１０３　表示部、１０４　監視通信部、１０５　入力部、１１１，１１１－１，１１１－２，１１１－３，１１１－４，１１１－５　カメラ、１１１ａ　カメラ撮影部、１１１ｂ　カメラ通信部、１１１ｃ　カメラ制御部、１２１　センサ、１２１ａ　センサ検出部、１２１ｂ　センサ通信部、１２１ｃ　センサ制御部、１３０，１３０Ｌ，１３０Ｒ　目印、１３１　枠、１３２　サムネイル画像、２００，２３０　ファクトリーオートメーションシステム、２０１　ＦＡコントローラ、２０２　駆動装置、２０３　ベルトコンベヤ、２０４　コンベヤベルト、２０５　ローラー軸、２０６　ローラー、２０７　製品、３０１　プロセッサ、３０２　メモリ、３０３　記憶装置、３０４　入力装置、３０５　表示装置、３０６　通信装置、３０７　データバス、１０３１　映像表示領域、１０３１ａ　スライドバー、１０３２　サムネイル表示領域、１０３３　付随情報表示領域、１０３４　日時情報表示領域。

Claims (13)

  1. 　工場の生産ラインにおける工程を監視するための生産ライン監視装置であって、
    　前記生産ライン監視装置の外部における互いに異なる位置に配置されて前記生産ラインの状態を撮影する複数の撮影部で取得された映像に基づいて、前記生産ラインの異常状態を検出する異常検出処理部と、
    　前記異常検出処理部において異常状態が検出された場合に、複数の前記撮影部で撮影された映像のうち前記異常状態と同一の異常状態が撮影されている映像を時系列に沿って連結した記録映像を作成する異常追跡処理部と、
    　前記記録映像と、検出された前記異常状態に付随する情報とを紐づけて記憶する記憶部と、
    　を備えることを特徴とする生産ライン監視装置。
  2. 　複数の前記撮影部において撮影タイミングを決定するために用いられる、複数の前記撮影部における撮影タイミングを同期させるための走査周波数を算出する走査周波数制御部と、
    　を有することを特徴とする請求項１に記載の生産ライン監視装置。
  3. 　前記異常検出処理部は、前記生産ライン監視装置の外部における互いに異なる位置に配置された複数のセンサで取得され、前記撮影部で取得された映像から取得できない前記生産ラインの状態の情報、または複数の前記撮影部で取得された映像に基づいて、前記生産ラインの異常状態を検出すること、
    　を特徴とする請求項１または２に記載の生産ライン監視装置。
  4. 　前記異常検出処理部は、前記異常状態が検出された前記映像に対して、上書きを禁止する旨の上書き不可情報を付与すること、
    　を特徴とする請求項１から３のいずれか１つに記載の生産ライン監視装置。
  5. 　前記記憶部は、複数の前記撮影部の位置情報を備え、前記異常検出処理部により異常状態が検出された場合、前記異常状態が検出された映像を撮影した前記撮影部の情報と、前記異常状態が検出された映像を撮影した前記撮影部の位置情報と、検出された前記異常状態の撮影画像と、を前記撮影された映像に紐づけて記録すること、
    　を特徴とする請求項１から４のいずれか１つに記載の生産ライン監視装置。
  6. 　前記記録映像と、検出された前記異常状態に付随する情報とを紐づけて前記記憶部に記憶させる記録処理部を備えること、
    　を特徴とする請求項１から５のいずれか１つに記載の生産ライン監視装置。
  7. 　前記記憶部に記憶された情報を表示する表示部を備えること、
    　を特徴とする請求項１から６のいずれか１つに記載の生産ライン監視装置。
  8. 　前記表示部は、前記撮影部において撮影されたリアルタイム映像を表示し、または前記記憶部に記憶された前記記録映像を前記異常状態に付随する情報とともに表示すること、
    　を特徴とする請求項７に記載の生産ライン監視装置。
  9. 　工場の生産ラインにおける工程を監視するための生産ライン監視システムであって、
    　請求項１から８のいずれか１つに記載の生産ライン監視装置と、
    　前記生産ライン監視装置の外部における互いに異なる位置に配置されて前記生産ラインの状態を撮影する複数の撮影部と、
    　を備えることを特徴とする生産ライン監視システム。
  10. 　生産ライン監視装置において工場の生産ラインにおける工程を監視するための生産ライン監視方法であって、
    　前記生産ライン監視装置が、前記生産ライン監視装置の外部における互いに異なる位置に配置されて前記生産ラインの状態を撮影する複数の撮影部で取得された映像に基づいて、前記生産ラインの異常状態を検出するステップと、
    　前記生産ライン監視装置が、前記異常状態を検出するステップにおいて異常状態が検出された場合に、複数の前記撮影部で撮影された映像のうち前記異常状態と同一の異常状態が撮影されている映像を時系列に沿って連結した記録映像を作成するステップと、
    　前記生産ライン監視装置が、前記記録映像と、検出された前記異常状態に付随する情報とを紐づけて記憶部に記録するステップと、
    　を含むことを特徴とする生産ライン監視方法。
  11. 　前記生産ライン監視装置が、複数の前記撮影部において撮影タイミングを決定するために用いられる、複数の前記撮影部における撮影タイミングを同期させるための走査周波数を、前記生産ラインの移動速度に基づいて算出するステップを含むこと、
    　を特徴とする請求項１０に記載の生産ライン監視方法。
  12. 　前記生産ライン監視装置が、前記走査周波数を撮影範囲が重複していない複数の前記撮影部に送信して、複数の前記撮影部における撮影タイミングを同期させることで、複数の前記撮影部で撮影された映像のフレームの時間情報を同期させること、
    　を特徴とする請求項１１に記載の生産ライン監視方法。
  13. 　前記生産ライン監視装置が、前記撮影部において撮影されたリアルタイム映像を表示部に表示し、または前記記憶部に記憶された前記記録映像を前記異常状態に付随する情報とともに表示部に表示するステップを含むこと、
    　を特徴とする請求項１０から１２のいずれか１つに記載の生産ライン監視方法。
PCT/JP2021/017921 2021-05-11 2021-05-11 生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法 WO2022239123A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/289,116 US20240231331A1 (en) 2021-05-11 2021-05-11 Production line monitoring apparatus, production line monitoring system, and production line monitoring method
JP2023520637A JP7483132B2 (ja) 2021-05-11 2021-05-11 生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法
CN202180097868.6A CN117461004A (zh) 2021-05-11 2021-05-11 生产线监视装置、生产线监视系统以及生产线监视方法
PCT/JP2021/017921 WO2022239123A1 (ja) 2021-05-11 2021-05-11 生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/017921 WO2022239123A1 (ja) 2021-05-11 2021-05-11 生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法

Publications (1)

Publication Number Publication Date
WO2022239123A1 true WO2022239123A1 (ja) 2022-11-17

Family

ID=84028943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/017921 WO2022239123A1 (ja) 2021-05-11 2021-05-11 生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法

Country Status (4)

Country Link
US (1) US20240231331A1 (ja)
JP (1) JP7483132B2 (ja)
CN (1) CN117461004A (ja)
WO (1) WO2022239123A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025109937A1 (ja) * 2023-11-21 2025-05-30 パナソニックＩｐマネジメント株式会社 監視システム及び監視方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240144558A1 (en) * 2022-10-27 2024-05-02 Capital One Services, Llc Generating video streams to depict bot performance during an automation run

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016122319A (ja) * 2014-12-25 2016-07-07 因幡電機産業株式会社 工程監視装置
JP2018128729A (ja) * 2017-02-06 2018-08-16 コニカミノルタ株式会社 工程監視装置、工程監視装置の制御方法およびプログラム
JP2020071568A (ja) * 2018-10-30 2020-05-07 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、及びプログラム。

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016122319A (ja) * 2014-12-25 2016-07-07 因幡電機産業株式会社 工程監視装置
JP2018128729A (ja) * 2017-02-06 2018-08-16 コニカミノルタ株式会社 工程監視装置、工程監視装置の制御方法およびプログラム
JP2020071568A (ja) * 2018-10-30 2020-05-07 キヤノンマーケティングジャパン株式会社 情報処理システム、情報処理方法、及びプログラム。

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2025109937A1 (ja) * 2023-11-21 2025-05-30 パナソニックＩｐマネジメント株式会社 監視システム及び監視方法

Also Published As

Publication number Publication date
JP7483132B2 (ja) 2024-05-14
JPWO2022239123A1 (ja) 2022-11-17
US20240231331A1 (en) 2024-07-11
CN117461004A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
WO2022239123A1 (ja) 生産ライン監視装置、生産ライン監視システムおよび生産ライン監視方法
CN105979134B (zh) 图像处理装置、图像处理方法和图像处理系统
JP4670455B2 (ja) 工程異常検知システム
US7839431B2 (en) Image processing system and method for improving repeatability
US9091904B2 (en) Camera device with rotary base
JP2008009849A (ja) 人物追跡装置
JP2019215225A (ja) 画像検査システム及びその制御方法
JP7179238B1 (ja) 表示データ生成プログラム、表示データ生成装置及び表示データ生成方法
KR20190026625A (ko) 영상 표시 방법 및 컴퓨터 프로그램, 그 기록매체
US20220380135A1 (en) Information Processing Device
JP7463263B2 (ja) 保守作業遠隔管理サーバおよび保守作業遠隔管理方法
TWI699638B (zh) 資料收集再現系統
JP2021179321A (ja) 状態管理方法、プログラム、及び状態管理システム
CN115619782B (zh) 基于机器视觉的井筒360全景拼接检测系统及方法
CN114972052B (zh) 即时影像的校正装置及校正方法
JP2001183302A (ja) 鋼帯表面検査装置
US20220343486A1 (en) Computer vision predictions for non-destructive testing
KR101863662B1 (ko) 카메라를 이용한 스마트 공장 운영 시스템
KR20090053296A (ko) 이미지 품질 제어 시스템 및 방법
US20130135485A1 (en) Electronic apparatus
WO2020263972A1 (en) Methods, systems, and devices for monitoring a web of material translating along a travel path
JP2019175302A (ja) 機器制御装置、及び機器制御方法
WO2024190552A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6887542B1 (ja) 工作機械
US11851283B2 (en) Information display device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21941857

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023520637

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18289116

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202180097868.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21941857

Country of ref document: EP

Kind code of ref document: A1