[go: up one dir, main page]

WO2012053105A1 - 作業機械の周辺監視装置 - Google Patents

作業機械の周辺監視装置 Download PDF

Info

Publication number
WO2012053105A1
WO2012053105A1 PCT/JP2010/068718 JP2010068718W WO2012053105A1 WO 2012053105 A1 WO2012053105 A1 WO 2012053105A1 JP 2010068718 W JP2010068718 W JP 2010068718W WO 2012053105 A1 WO2012053105 A1 WO 2012053105A1
Authority
WO
WIPO (PCT)
Prior art keywords
obstacle
image
work machine
risk
camera
Prior art date
Application number
PCT/JP2010/068718
Other languages
English (en)
French (fr)
Inventor
小沼　知恵子
竜 弓場
石本　英史
Original Assignee
日立建機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立建機株式会社 filed Critical 日立建機株式会社
Priority to US13/880,490 priority Critical patent/US9113047B2/en
Priority to JP2012539546A priority patent/JP5667638B2/ja
Priority to PCT/JP2010/068718 priority patent/WO2012053105A1/ja
Priority to CN201080069736.4A priority patent/CN103180522B/zh
Priority to EP10858659.5A priority patent/EP2631374B1/en
Priority to KR1020137009804A priority patent/KR101751405B1/ko
Publication of WO2012053105A1 publication Critical patent/WO2012053105A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/24—Safety devices, e.g. for preventing overload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/264—Sensors and their calibration for indicating the position of the work tool
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F04—POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
    • F04B—POSITIVE-DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS
    • F04B49/00—Control, e.g. of pump delivery, or pump pressure of, or safety measures for, machines, pumps, or pumping installations, not otherwise provided for, or of interest apart from, groups F04B1/00 - F04B47/00
    • F04B49/06—Control using electricity
    • F04B49/065—Control using electricity and making use of computers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B9/00—Safety arrangements
    • G05B9/02—Safety arrangements electric

Definitions

  • the present invention relates to a periphery monitoring device that monitors obstacles around a work machine.
  • Peripheral monitoring devices for work machines such as hydraulic excavators are for monitoring the periphery of the work machine with a camera, etc., and preventing contact with people and objects (obstacles) around the work machine during work. is there.
  • the operator can easily grasp the positional relationship between the work machine and surrounding obstacles.
  • An image obtained by converting the image around the work machine captured in step 1 into an overhead view image from the upper viewpoint of the work machine and an image in which an obstacle appropriately detected by a detection unit such as a camera is drawn are displayed on the display device in a superimposed manner.
  • a detection unit such as a camera
  • the technique according to the above document is excellent in that the operator can easily grasp the presence / absence of an obstacle and the positional relationship between the work machine and the obstacle by viewing an image displayed on the display device in a superimposed manner.
  • the operator may be necessary to determine which of the obstacles has the highest possibility of contact. In such a case, the operator himself must make the judgment, and the judgment work inevitably intervenes during the normal work (excavation work). Therefore, when it is assumed that the work machine is used in such a situation, there is room for improvement from the viewpoint of improving the work efficiency of the work machine.
  • An object of the present invention is to provide a work machine periphery monitoring device that can instantly grasp the position of the most dangerous obstacle with respect to the work machine.
  • the present invention provides a photographing means for photographing an image around a work machine, an obstacle detection means for detecting the presence of an obstacle around the work machine using the photographed image, Based on at least one of the position calculation means for calculating the relative position of the detected obstacle with respect to the work machine, and the posture and operation of the work machine, the risk range calculation for calculating the danger range around the work machine Means for determining whether an obstacle exists within the calculated danger range based on the calculated position of the obstacle, and an obstacle determined by the determination means to be within the danger range Risk level setting means for setting a contact risk level based on at least one of the type, position, and height of the obstacle obtained from the captured image, and the captured image; Is converted into a bird's-eye view image centered on the working machine, and the work on the bird's-eye view image is viewed from above the obstacle set with the highest contact risk level by the risk level setting means. It is assumed that an image creating means for creating an image including the entire machine and the danger range, and a display
  • the work efficiency of the work machine is improved.
  • FIG. 1 is an external view of a hydraulic excavator that is an example of a work machine according to an embodiment of the present invention.
  • BRIEF DESCRIPTION OF THE DRAWINGS The whole block diagram of the periphery monitoring apparatus of the working machine which concerns on embodiment of this invention.
  • FIG. Explanatory drawing which shows the positional relationship of the obstruction (person / thing) and hydraulic excavator in the circumference
  • the flowchart of the process performed in the obstacle detection part 400 which concerns on embodiment of this invention.
  • the flowchart of the process performed in the position calculation part 500 which concerns on embodiment of this invention.
  • the flowchart of the process performed in the danger range calculation part 700 which concerns on embodiment of this invention.
  • Explanatory drawing of the example of calculation of the danger range in case the lower traveling body 1e reverses.
  • the flowchart of the process performed in the determination part 800 which concerns on embodiment of this invention.
  • FIG. 10 is a first explanatory diagram regarding a risk setting process performed in a risk setting unit 2000;
  • FIG. 10 is a second explanatory diagram relating to a risk setting process performed in the risk setting unit 2000;
  • FIG. 10 is a third explanatory diagram relating to a risk setting process performed in the risk setting unit 2000.
  • 10 is a flowchart of processing performed in an overhead image creation unit 610 in the image creation unit 600.
  • the flowchart of the process performed in the overhead view viewpoint determination part 2100 (The overhead view position determination part 2130 and the overhead view height determination part 2140) in the image preparation part 600.
  • FIG. 10 is a first explanatory diagram regarding a risk setting process performed in a risk setting unit 2000
  • FIG. 10 is a second explanatory diagram relating to a risk setting process performed in the risk setting unit 2000
  • FIG. 10 is a third explanatory diagram relating to a risk setting process performed in the risk setting unit 2000.
  • 10 is a flowchart of processing performed in an
  • the conceptual diagram of the example which determines the bird's-eye viewpoint in the bird's-eye viewpoint determination part 2100 The figure which shows the 1st example of the monitoring image which the monitoring image preparation part 620 in the image preparation part 600 produces. The figure which shows the 2nd example of the monitoring image which the monitoring image preparation part 620 in the image preparation part 600 produces. The figure which shows the 3rd example of the monitoring image which the monitoring image preparation part 620 in the image preparation part 600 produces. The figure which shows the 4th example of the monitoring image which the monitoring image preparation part 620 in the image preparation part 600 produces. The figure which shows the 5th example of the monitoring image which the monitoring image preparation part 620 in the image preparation part 600 produces. The figure which shows the 6th example of the monitoring image which the monitoring image preparation part 620 in the image preparation part 600 produces. FIG. 18 shows an example of a display screen of the display device 1300 according to an embodiment of the present invention.
  • FIG. 1 is an external view of a hydraulic excavator that is an example of a work machine according to an embodiment of the present invention.
  • the hydraulic excavator shown in this figure includes an articulated front working device 1A composed of a boom 1a, an arm 1b and a bucket 1c that rotate in a vertical direction, a vehicle body 1B composed of an upper swing body 1d and a lower traveling body 1e, A display device 1300 installed in the cab 1f is provided.
  • the cab 1f is provided in the upper swing body 1d.
  • the base end of the boom 1a of the front working device 1A is supported by the front portion of the upper swing body 1d.
  • the boom 1a, the arm 1b, the bucket 1c, the upper swing body 1d, and the lower traveling body 1e are respectively a boom cylinder 3a, an arm cylinder 3b, a bucket cylinder 3c, a swing motor (not shown), and left and right travel motors 3e, 3f ( It is driven by each actuator (not shown).
  • the boom 1a, the arm 1b, the bucket 1c, and the upper swing body 1d are provided with angle detectors 8a, 8b, 8c, and 8d that detect the respective rotation angles ( ⁇ 1, ⁇ 2, ⁇ 3, ⁇ 4).
  • the upper turning body 1d is provided with a rear camera 13a, a right side camera 13b, and a left side 13c (photographing means) for photographing an image around the hydraulic excavator.
  • the rear camera 13a is for taking an image behind the upper swing body 1d, and is installed behind the upper swing body 1d.
  • the right side camera 13b is for taking a right side image of the upper swing body 1d, and is installed on the right side of the upper swing body 1d.
  • the left side camera 13c is for taking an image of the left side of the upper swing body 1d and is installed on the left side of the upper swing body 1d.
  • FIG. 2 is an overall configuration diagram of a work machine periphery monitoring apparatus according to an embodiment of the present invention.
  • the periphery monitoring device shown in this figure includes cameras 13a, 13b, and 13c, an obstacle detection unit 400, a position calculation unit 500, a danger range calculation unit 700, a determination unit 800, a risk level setting unit 2000, and an image.
  • the obstacle detection unit 400 is a part that detects the presence of an obstacle around the hydraulic excavator by using images taken by the cameras 13a, 13b, and 13c.
  • the position calculation unit 500 is detected by the obstacle detection unit 400. This is a part for calculating the relative position of the obstacle to the hydraulic excavator.
  • the danger range calculation unit 700 is a part that calculates a danger range around the hydraulic excavator based on at least one of the posture and operation of the hydraulic excavator.
  • the posture of the excavator (the turning angle of the upper turning body 1d, the posture of the front working device 1A, etc.) is determined from the detected angles ⁇ 1, ⁇ 2, ⁇ 3, and ⁇ 4 detected by the angle detectors 8a, 8b, 8c, and 8d. Can be calculated.
  • the operation of the hydraulic excavator is performed by operating a boom cylinder 3a, an arm cylinder 3b, a bucket cylinder 3c, a swing motor (not shown), and left and right traveling motors 3e, from an operating device (operating lever) 30 installed in the cab 1f. It can be calculated from the operation signal (hydraulic signal or electrical signal) output to 3f and the time change of the detected angles ⁇ 1, ⁇ 2, ⁇ 3, ⁇ 4 by the angular angle detectors 8a, 8b, 8c, 8d
  • the determination unit 800 is a part that determines whether or not an obstacle exists in the danger range calculated by the danger range calculation unit 700 based on the position of the obstacle calculated by the position calculation unit 500.
  • “within danger range” means the inside of the danger range (hydraulic excavator side) and the area on the danger range
  • “out of danger area” means the area outside the danger range except on the danger range. I will do it.
  • the risk setting means 2000 for the obstacle determined to be within the danger range by the determination unit 800, the type of the obstacle (person / thing) obtained from the images photographed by the cameras 13a, 13b, 13c.
  • the contact risk level (sometimes simply referred to as the risk level) is set based on at least one of the position and the height.
  • the image creation unit 600 converts the images captured by the cameras 13a, 13b, and 13c into an overhead image centered on the hydraulic excavator, and from above the obstacle set with the highest contact risk level by the risk level setting unit 2000. This is a part for creating an image (monitoring image) overlooking the overhead image.
  • the monitoring image created by the image creation unit 600 includes all of the excavator on the overhead view image and the danger range calculated by the danger range calculation unit 700.
  • FIG. 3 is a configuration diagram of the image creation unit 600 according to the embodiment of the present invention.
  • the image creation unit 600 includes an overhead view image creation unit 610, an overhead view viewpoint determination unit 2100, and a monitoring image creation unit 620.
  • the overhead image creation unit 610 is a part that converts images taken by the cameras 13a, 13b, and 13c into overhead images centered on a hydraulic excavator.
  • the bird's-eye view image indicates an image corresponding to a plan view obtained when the work place centering on the hydraulic excavator is viewed from a position directly above the hydraulic excavator. It is created by converting and synthesizing images of the cameras 13a, 13b, and 13c.
  • a method for converting an image captured by the camera into a bird's-eye view image for example, a method described later, a method described in Japanese Patent Application Laid-Open No. 2006-48451, or the like can be used.
  • the overhead view viewpoint determination unit 2100 is a part that determines a viewpoint (overview viewpoint) from which an overhead image created by the overhead view image creation unit 610 is overhead with a virtual camera (not shown).
  • the overhead view position determination unit 2130 and the overhead view height A determination unit 2140 is provided.
  • the overhead position determination unit 2130 is a part that determines the position of the overhead viewpoint on the horizontal plane.
  • the overhead position is the horizontal plane position of the obstacle for which the highest contact risk is set by the risk level setting unit 2000.
  • the overhead view height determination unit 2140 is a part that determines the height position of the overhead view viewpoint.
  • the overhead view height is determined so that the range is included. Instead of adjusting the overhead view height (the height of the virtual camera) in this way or in combination, the focal length (view angle) of the virtual camera is set so that the excavator and the danger range are included in the image of the virtual camera. You may adjust it.
  • the monitoring image creation unit 620 is a part that creates a monitoring image by shooting the overhead image created by the overhead view image creation unit 610 from the overhead view determined by the overhead view determination unit 2100 with a virtual camera.
  • the monitoring image creation unit 620 also performs processing for combining and displaying a necessary image on the created monitoring image.
  • the monitoring image displays a figure (simulated working machine diagram) imitating the hydraulic excavator at the center of the overhead image so that the operator can easily grasp the positional relationship of the obstacle with respect to the hydraulic excavator.
  • a method of displaying a simulated work machine diagram there is a method of displaying a hydraulic excavator illustration or a three-dimensional model in the center of the overhead image. At that time, in order to make it easier for the operator to grasp the situation, it is preferable to reflect the actual posture and operation of the hydraulic excavator in the simulated working machine diagram.
  • the warning display includes a figure (star-shaped figure or the like) or a character (“danger” or the like), and it is preferable to give a noticeable coloring in the monitoring image.
  • the image is appropriately scaled up and down, and there is a strong tendency that it is difficult to determine the type of obstacle. Therefore, when the obstacle with the highest contact risk is a person, an image showing the person may be drawn on the obstacle in a superimposed manner in order to improve the visibility of the operator. At that time, as an image showing a person, for example, there is an illustration or a photograph of the person. Note that it is also preferable to apply a conspicuous coloring in the monitoring image.
  • the display device 1300 is a part for displaying the image created by the image creation unit 600, and is installed in the cab 1f as shown in FIG.
  • the display device 1300 is preferably installed at a position where an operator (operator) can easily visually check in the cab 1f of the excavator.
  • the periphery monitoring device may be configured by a computer and a display device capable of image processing, or a dedicated image processing device and a display device.
  • the above cameras 13a, 13b, and 13c are connected to the upper swing body 1d. It is preferable to install in.
  • the hydraulic excavator of the present embodiment as shown in FIG.
  • a millimeter wave radar 14a for measuring the distance from the rear of the upper swing body 1d to the obstacle is installed below the rear camera 13a, and the upper swing body
  • a millimeter wave radar 14b that measures the distance from the right side of 1d to the obstacle is installed below the right side camera 13b
  • a millimeter wave radar 14c that measures the distance from the left side of the upper rotating body 1d to the obstacle is on the left side.
  • FIG. 4 is an explanatory diagram of a detection range when the camera 13a is used as a device for detecting the presence of an obstacle used by the obstacle detection unit 400 and when the millimeter wave radar 14a is used.
  • the millimeter wave radar 14a is capable of horizontal scanning 21, and vertical scanning is difficult.
  • the height of the lower traveling body 1e of a general hydraulic excavator is 1.0 m or more
  • the installation height of the millimeter wave radar 14a must be installed at a position higher than 1.0 m. Therefore, when there is an obstacle (for example, a sitting person 15a (height of about 0.8 m)) below the installation height immediately below the millimeter wave radar 14a, the obstacle becomes a blind spot of the millimeter wave radar 14a.
  • the camera 13a is installed on the top of the vehicle body 1B at a depression angle so that the camera 13a can be photographed directly below it, the photographing 20a in the horizontal direction and the vertical direction can be performed. A blind spot like 14a does not occur. Therefore, when the cameras 13a, 13b, and 13c are used as in the present embodiment, the obstacle detection performance is improved and the safety is increased. Needless to say, when the millimeter wave radars 14a, 14b, and 14c are installed in addition to the cameras 13a, 13b, and 13c, the detection performance is further improved.
  • FIG. 5 is an explanatory diagram showing the positional relationship between the obstacle (person / thing) and the hydraulic excavator around the hydraulic excavator according to the embodiment of the present invention.
  • a camera 13a and a millimeter wave radar 14a are located behind the upper swing body 1d
  • a camera 13b and a millimeter wave radar 14b are located on the right side
  • a camera 13c and a millimeter wave radar 14c are located on the left side. Is installed.
  • workers 15a and 15b, sandbag 16, color cone 17 and pole side cone 19 are present behind the upper swing body 1d, which is difficult to see from the operator, and workers 15c and 15d are present on the right side.
  • the worker 15e is present on the left side.
  • FIG. 6 is a flowchart of processing performed by the obstacle detection unit 400 according to the embodiment of the present invention.
  • the obstacle detection unit 400 first inputs an image captured by the camera 13 (S401), and inputs an image input from the camera 13 immediately before or n frames or an obstacle. An image or the like obtained by separately photographing the absence of an object is input as a background image (S402).
  • a difference image for each pixel is created using the input image of S401 and the background image of S402 (S403), and the portion of the created difference image whose luminance is less than a predetermined threshold (about 7 to 15) is set to 0, A binarization process is performed to make the further portion 1 or more, and an obstacle change region is extracted (S404).
  • the change area extracted in S404 has a portion whose area is equal to or larger than a predetermined threshold (S405).
  • the threshold used here is preferably set so as to decrease as the distance from the camera 13 increases in view of the fact that an obstacle away from the camera 13 is photographed smaller.
  • S405 if there is a part whose area is equal to or larger than the threshold value in the change area, it is determined that an obstacle area exists (S406), and the process proceeds to S408, and if there is only a part less than the threshold value, it is determined that there is no obstacle. (S407) The processes after S401 are repeated.
  • the number of the obstacle areas is set to a plurality (n) (S410). Then, k is set to 1 (S412), and the upper left and lower right coordinates of the circumscribed rectangle for the first obstacle area are stored in the storage device (S413), and the coordinates are stored for all the obstacle areas. Whether or not k has reached n is checked (S414). If k has not reached n in S414, k is incremented by 1 (S415), and the process returns to S413. Thereafter, the processing of S413 ⁇ S414 ⁇ S415 is repeated by the number of obstacle areas. By the above processing, the presence of an obstacle around the hydraulic excavator can be detected.
  • FIG. 7 is a flowchart of processing performed by the position calculation unit 500 according to the embodiment of the present invention.
  • the position calculation unit 500 determines whether a circumscribed rectangle exists in the region (extraction region) extracted by the obstacle detection unit 400, that is, the obstacle detection unit 400. Thus, it is checked whether or not the circumscribed rectangle coordinates are stored in the storage device (S501).
  • FIG. 8 is a flowchart for calculating the distance between the obstacle and the camera 13 in S520.
  • a pinhole camera model is the most common method as a conversion model of an actual ground 3D coordinate and a camera screen coordinate system such as a camera image processing screen.
  • the camera 3D coordinates are calculated by performing movement and rotation conversion on the ground 3D coordinates
  • the camera image 2D coordinates can be calculated by performing projection conversion on the calculated camera 3D coordinates. That is, the camera 3D coordinate system is obtained by multiplying the combination of the ground 3D coordinate system and the camera position parameter by the rotation matrix related to the side view angle parameter, the depression angle parameter, and the rotation angle parameter.
  • the camera parameters used here are: (1) camera position parameter (camera lens center, that is, ground 3D coordinate of viewpoint), (2) depression angle parameter, (3) side view angle parameter, (4) rotation angle parameter, (5) There is a scale parameter.
  • (1) camera position parameter, (2) depression angle parameter, and (3) side angle-of-view parameter can be calculated from camera installation specification data.
  • the rotation angle parameter is a parameter dependent on (2) the depression angle parameter and (3) the side view angle parameter, it can be calculated inside the conversion.
  • the scale parameter is a parameter dependent on the zoom rate. Therefore, each camera parameter can be calculated by performing calibration using an object of a known size after the camera is actually installed, and using this, the distance of the camera image can be calculated.
  • the distance from the camera 13 to the obstacle 13 is calculated by performing conversion from the ground 3D coordinate system to the camera screen 2D coordinate system based on the above principle.
  • the position calculation unit 500 calculates a transformation matrix for camera 3D coordinate transformation by performing movement and rotation transformation from the 3D coordinates on the ground (S521), and performs a projection transformation from the camera 3D coordinates to obtain a transformation matrix for camera screen 2D coordinate transformation. Is calculated (S522).
  • an image of the camera screen 2D coordinate is created using the transformation matrix created in step 522 (S523), and the distance at the pixel of the 2D image is calculated by calibration using the camera internal parameters (S524).
  • the distance from the base point (the midpoint of the lower side of the circumscribed rectangle) of the hazardous area determined in S502 to the camera 13 is calculated (S525), and the process proceeds to S503.
  • S503 it is checked whether or not the circumscribed rectangle is located in an area near the camera 13, that is, whether or not the distance calculated in S520 is equal to or less than a predetermined threshold value. If the distance calculated in S520 is equal to or smaller than the threshold, it is determined that the circumscribed rectangle is located in an area near the camera 13, and the extracted area is estimated to be a part of the obstacle, and the feature of the obstacle is extracted (S504). . Specifically, in S506, it is checked whether or not a circle that is a feature of the helmet exists in the extraction region. In S506, when it is determined that a circle exists, the extraction area is determined to be a worker (person) wearing a helmet (S510), and when it is determined that a circle does not exist, It is determined that the extraction area is a thing (S511).
  • the distance calculated in S520 is larger than the threshold value in S503, it is estimated that the entire obstacle is photographed in the extraction area, and the feature of the obstacle is extracted (S505).
  • the aspect ratio of the extraction region is close to that of a person standing, or the extraction region is divided into a head portion, a torso portion, and a lower portion, and each contour shape, color, and the like are set. It is determined whether or not there is a feature of the person's head, trunk, and lower part.
  • step S501 the processes in and after S501 are repeated.
  • the relative position of the obstacle detected by the obstacle detection unit 400 with respect to the hydraulic excavator can be calculated.
  • a method different from the above may be applied in the subsequent type determination processing (S506, 507) according to the result determined in step 503.
  • FIG. 9 is a flowchart of processing performed by the danger range calculation unit 700 according to the embodiment of the present invention.
  • the danger range calculation unit 700 first takes in the output ⁇ 1 of the angle detector 8a that detects the rotation angle of the boom 1a, and detects the rotation angle of the arm 1b.
  • the output ⁇ 2 of the angle detector 8b is taken in
  • the output ⁇ 3 of the angle detector 8c that detects the turning angle of the bucket 1c is taken
  • the output ⁇ 4 of the angle detector 8d that detects the turning angle of the upper turning body 1d is taken in.
  • the tip coordinates and height of the bucket 1c are calculated (S702), and the size (length) of the front work device 1A and the lower traveling body 1e are calculated.
  • the turning direction of the upper swing body 1d is calculated.
  • the danger range calculation unit 700 takes in the operation signal output from the operating device 30 (S704), and the operation of the excavator (the movement direction of the boom 1a, arm 1b, and bucket 1c, upper part based on the taken-in operation signal)
  • the turning direction of the revolving structure 1d, the moving direction of the lower traveling structure 1e, etc.) are calculated (S705).
  • the danger range calculation unit 700 takes in the size (such as the size of the upper swing body 1d) of the excavator stored in the excavator specification storage unit 706 (S707), and the attitude of the excavator calculated in S703 and in S705. Based on the calculated operation of the excavator and the size of the excavator taken in S707, a danger range around the excavator is calculated (S708). When the calculation of the danger range ends, the process returns to S701 and the subsequent processing is repeated.
  • S707 the size of the upper swing body 1d
  • the danger range around the excavator can be calculated by the above processing.
  • the series of processes of S701 to S708 is performed by taking in data that changes every moment during the operation of the hydraulic excavator. Therefore, since the danger range is calculated in conjunction with the posture and operation of the hydraulic excavator, the monitoring area can be optimized.
  • the danger level setting unit 2000 changes the contact risk level depending on whether the obstacle is within the danger range or outside the danger range, so that a warning is issued only when it is really necessary. Can be displayed. For example, if the warning is displayed only when there is an obstacle within the danger range, the scene where the operation of the hydraulic excavator is restricted is suppressed, so that the work efficiency can be improved.
  • the danger range is calculated based on both the attitude and operation of the excavator.
  • the danger range may be calculated based on the above.
  • the danger range may be calculated in view of the time change of the detection angle ⁇ by each angle detector 8, that is, the moving speed.
  • FIG. 10 to 12 show examples of danger ranges calculated by the danger range calculation unit 700.
  • FIG. Here, for convenience, an overhead image (described later) obtained by converting images captured by the rear camera 13a, the right camera 13b, and the left camera 13c is used using an image 911 when viewed from directly above the hydraulic excavator. explain.
  • FIG. 10 is an explanatory diagram of an example of calculating the danger range when the upper swing body 1d turns right.
  • the danger range calculation unit 700 calculates a danger range around the excavator based on this operation state. Specifically, in association with the operation of the hydraulic excavator, a danger range 913 is calculated that has a wide range in the right direction that is the turning direction and a narrow range in the rear and left directions that are different from the turning direction.
  • the danger range is calculated in conjunction with the operation of the hydraulic excavator, the monitoring area by the peripheral monitoring device is optimal.
  • FIG. 11 is an explanatory diagram of an example of calculating the danger range when the upper swing body 1d turns left.
  • the danger range calculation unit 700 calculates a danger range around the excavator based on this operation state. Specifically, in association with the operation of the hydraulic excavator, a danger range 916 is calculated that has a wide range in the left direction that is the turning direction and a narrow range in the rear or right direction that is different from the turning direction.
  • FIG. 12 is an explanatory diagram of a calculation example of the danger range when the lower traveling body 1e moves backward.
  • the danger range calculation unit 700 calculates the danger range based on the operation state using the size (horizontal width) of the excavator taken in step 707. Specifically, a danger range 918 having the same width as the lateral width of the excavator is calculated on the rear side of the excavator that is the moving direction.
  • FIG. 13 is a flowchart of processing performed by the determination unit 800 according to the embodiment of the present invention.
  • the determination unit 800 determines whether or not there is an obstacle detected by the obstacle detection unit 400 within the danger range calculated by the danger range calculation unit 700. A determination is made based on the position of the obstacle calculated by the position calculation unit 500 (S801, 802). If it is determined in S802 that it is within the danger range, the result is stored in the storage device (S803), and if it is determined that it is outside the danger range, the result is similarly stored in the storage device (S804). ). The determination result stored in this way is used in other processing (for example, the risk setting unit 2000). When the writing to the storage device is completed, the determination in S801 is repeated for every obstacle for each time. By this processing, it can be determined whether or not each obstacle exists within the danger range.
  • FIG. 14 is a flowchart of processing performed in the risk setting unit 2000 according to the embodiment of the present invention.
  • the risk setting unit 2000 first checks whether an obstacle exists within the danger range based on the determination result of the determination unit 800 (S2051). . If it is determined in S2051 that there is no obstacle in the danger range, the process is terminated without setting the contact danger level (set the danger level to 0) (S2071). On the other hand, if it is determined in S2051 that an obstacle exists within the danger range, the danger range is determined based on the type, position, and height of each obstacle obtained from the image of the camera 13 in the processing in S2052 and the subsequent steps. The contact risk is set for each obstacle existing inside.
  • the danger level setting unit 2000 checks whether or not the obstacle is a person with respect to an obstacle that does not have a contact danger level within the danger range. If it is determined in S2052 that the obstacle is not a person (that is, the obstacle is an obstacle), the height of the obstacle is set to a predetermined height (for example, 200 cm) (S2073), and the process proceeds to S2063.
  • a predetermined height for example, 200 cm
  • the circumscribed rectangle has a vertically long shape. Whether or not two adjacent sides are equal in length is determined (S2053). If it is determined in S2053 that it is vertically long or equivalent, it is estimated that a person standing in the extraction area is included, and its height is set to a set value (for example, 180 cm) (S2054). The process proceeds to S2056.
  • S2056 it is determined whether the operation of the excavator is turning (right turning and left turning) or reverse based on the operation signal of the operating device or the time change of the detected angle ⁇ 4 of the angle detector 8d.
  • the contact risk is set to 2 (S2057), and the process proceeds to S2070.
  • the process proceeds to S2058.
  • S2058 it is determined whether or not the obstacle is a person present at a position closest to the operation direction of the excavator as compared with other obstacles within the danger range. Specifically, if it is determined in S2058 that the excavator is turning, first, the radius of the circle centered on the turning center of the excavator is gradually increased from 0 to the bucket tip, thereby increasing the plurality of excavators. Draw concentric circles. Then, it is determined whether or not the obstacle whose target contact risk is to be set is a person who is present at a position closest to the front work apparatus 1A in the turning direction on the plurality of concentric circles.
  • step S2058 it is determined whether or not the obstacle for which the contact risk level is set is the person closest to the rear side of the excavator. judge. If it is determined in S2058 that the obstacle is the person closest to the direction of operation of the excavator, the contact risk is set to 5 (S2059), and the process proceeds to S2070. That is, in S2059, among obstacles whose type is within the danger range, the obstacle is present at the position closest to the front work device 1A or the hydraulic excavator in the turning direction of the front work device 1A or the backward direction of the hydraulic excavator. The highest contact risk is set for the person (obstacle). On the other hand, if it is determined in S2058 that the person is not closest to the operation direction of the excavator, the process proceeds to S2060.
  • S2060 it is checked whether or not the height of the tip of the bucket 1c is equal to or less than the height of the obstacle set in S2054 and 2055.
  • the contact risk is set to 4 (S2062), and the process proceeds to S2070.
  • the contact risk is set to 3 (S2061), and the process proceeds to S2070.
  • S2063 it is determined whether the operation of the hydraulic excavator is turning (right turning and left turning) or reverse based on the operation signal of the operating device or the time change of the detected angle ⁇ 4 of the angle detector 8d.
  • the contact risk is set to 1 (S2064), and the process proceeds to S2070.
  • the process proceeds to S2065.
  • S2065 it is determined whether or not the obstacle is present at a position closest to the operation direction of the excavator as compared with other obstacles within the danger range. A specific method of the determination is the same as that described in S2058. If it is determined in S2065 that the obstacle is the closest to the direction of operation of the excavator, the contact risk is set to 4 (S2066), and the process proceeds to S2070. That is, in S2066, among obstacles whose type is in the danger range, the closest position to the front work device 1A or the hydraulic excavator is in the turning direction of the front work device 1A or the backward direction of the hydraulic excavator. The highest contact risk is set for an object (obstacle). On the other hand, if it is determined in S2065 that the object is not closest to the operation direction of the excavator, the process proceeds to S2067.
  • S2067 it is checked whether the height of the tip of the bucket 1c is equal to or less than the height of the obstacle set in S2073. If the height of the bucket 1c is equal to or less than the height of S2073, the contact risk is set to 3 (S2069), and the process proceeds to S2070. On the other hand, in S2067, when the height of the bucket 1c is higher than the height of S2073, the contact risk is set to 2 (S2068), and the process proceeds to S2070.
  • the danger level setting unit 2000 checks whether or not contact danger levels have been set for all obstacles within the danger range. If there is an obstacle for which the contact risk level has not yet been set in the danger range, the process returns to S2052, and the processes from S2052 onward are repeated. If it is determined in S2070 that the contact risk is set for all obstacles, the process is temporarily terminated. In addition, when the danger range is updated or an obstacle is newly detected, the above-described series of risk setting processing is executed again as appropriate. By this processing, the contact risk can be set for all obstacles existing in the danger range. At this time, when a person exists in the danger range when the excavator turns or reversely moves, the highest contact risk (5) can be set for the person.
  • contact risk is based on the type of obstacle (person or object), position (within danger range / close to hydraulic excavator), and height (lower than the tip of bucket 1c).
  • the degree of contact may be set for each obstacle based on at least one of them.
  • FIG. 15 is a first explanatory diagram relating to the risk setting process performed in the risk setting unit 2000. This figure shows a case where the excavator turns right, the objects 16 and 17 and the persons 15a and 15b exist in the danger range 913, and the objects 18 and the person 15c exist outside the danger range 913.
  • the height of the tip is 150 cm.
  • the contact risk level is not set for the object 18 and the person 15c existing outside the danger range 913 according to the processing of S2051 and 2071. Since the height of the tip of the bucket 1c is 150 cm, the front work device 1A is located in the region of the concentric circle 2094 having the same distance from the turning center 2151 of the upper turning body 1d for the object 16 existing in the danger range 913. Therefore, 4 is set as the contact risk according to the processing of S2065 and 2066. For the object 17, 3 is set as the contact risk according to the processing of S2067 and 2069.
  • the contact risk degree is 5 according to the processing of S2058 and 2059.
  • 3 is set as the contact risk according to the processing of S2060 and 2061. That is, the person 15b has the highest contact risk in this figure.
  • FIG. 16 is a second explanatory diagram regarding the risk setting process performed in the risk setting unit 2000. This figure shows a case where the excavator turns right, the objects 16 and 17 exist in the danger range 913, the objects 18 and the person 15c exist outside the danger range 913, and the height of the tip of the bucket 1c is 150 cm. And
  • the contact risk is not set for the object 18 and the person 15c existing outside the danger range 913 according to the processing of S2051 and 2071. Since the height of the tip of the bucket 1c is 150 cm, the front working device 1A is located in the region of the concentric circle 2098 having the same distance from the turning center 2151 of the upper turning body 1d for the object 16 existing in the danger range 913. Therefore, 4 is set as the contact risk according to the processing of S2065 and 2066. For the object 17, 3 is set as the contact risk according to the processing of S2067 and 2069. That is, the object 16 has the highest contact risk in this figure.
  • FIG. 16 is a third explanatory diagram relating to the risk setting process performed in the risk setting unit 2000. This figure shows a case where the excavator turns right and an object 18 and a person 15c exist outside the danger range 913. In the case shown in this figure, since all the obstacles 18 and 15c exist outside the danger range 913, 0 is set as the contact risk for each obstacle. That is, in this case, there is no obstacle for which the contact risk is set.
  • FIG. 18 is a flowchart of processing performed in the overhead image creation unit 610 in the image creation unit 600.
  • the overhead image creation unit 610 first calculates a conversion matrix for converting the ground 3D coordinates to the camera 3D coordinates (S521). Then, a conversion matrix for converting the camera 3D coordinates to the camera screen 2D coordinates is calculated (S522). Further, an image of the camera screen 2D coordinates (overhead image) is created from the image of the camera 13 using these conversion matrices (S523).
  • the bird's-eye view image created by performing the processes of S521, 522, and 523 is arranged around a figure (simulated work machine diagram) that simulates a hydraulic excavator, and the process returns to S521 to repeat the processes after S521.
  • the overhead image of the rear camera 13a is arranged behind the simulated work machine diagram
  • the overhead image of the right side camera 13b is arranged on the right side of the simulated work machine diagram
  • the overhead image of the left side camera 13c is displayed.
  • FIG. 19 is a flowchart of processing performed by the overhead view viewpoint determination unit 2100 (the overhead view position determination unit 2130 and the overhead view height determination unit 2140) in the image creation unit 600.
  • the overhead position determination unit 2130 checks the contact risk value of each obstacle when the risk level setting unit 2000 sets the risk level for each obstacle within the danger range (S2131). If the contact risk of each obstacle is other than 1 to 5 in S2131 (that is, 0), the horizontal plane position of the overhead view viewpoint is determined at the center of the hydraulic excavator (S2132), and the process proceeds to S2142. On the other hand, if 1 to 5 is included in the contact risk of each obstacle in S2131, the horizontal plane position of the obstacle with the highest contact risk is determined as the horizontal plane position of the overhead view (S2133), and S2143. Proceed to
  • the overhead height determination unit 2140 sets the overhead viewpoint height so that the danger range can be displayed when the hydraulic excavator is looked down from above the central portion (turning center) of the hydraulic excavator. ), The horizontal position and height position of the overhead view viewpoint are stored in the storage device, and the process is terminated.
  • the distance (absolute value) between the center of the hydraulic excavator and the base point (see S502) of the obstacle with the highest contact risk used in S2133 is calculated, and the overhead viewpoint is proportional to the calculated value.
  • the height (for example, 2 to 3 times the obstacle height) is calculated (S2144).
  • the proportionality constant multiplied by the value calculated in S2143 may be set so that the danger range can be displayed when the center part of the excavator is looked down from above the obstacle with the highest contact risk.
  • the hydraulic excavator and the danger above the obstacle with the highest contact risk out of the contact risk of each obstacle set by the risk setting unit 2000 are set.
  • a bird's-eye view that looks at the range is set, and if the contact risk is not set, a bird's-eye view that looks at the hydraulic excavator and the danger range from above the hydraulic excavator is set.
  • FIG. 20 is a conceptual diagram of an example of determining an overhead viewpoint in the overhead viewpoint determination unit 2100. This figure shows a case where the highest contact risk is set for the person 15d.
  • the horizontal position 2152 of the person 15d is determined as the horizontal position of the overhead view viewpoint.
  • the difference (absolute value) between the central portion 2151 of the hydraulic excavator and the horizontal position 2152 is calculated, and the calculated value is multiplied by a proportionality constant according to the magnitude of the calculated value to obtain the height 2153 of the overhead view viewpoint. decide.
  • the position of the overhead view point (virtual camera) when the monitoring image creation unit 620 creates the monitoring image can be determined.
  • FIG. 21 is a diagram illustrating a first example of a monitoring image created by the monitoring image creation unit 620 in the image creation unit 600.
  • the front work apparatus 1A also moves in the right direction in conjunction with this.
  • the danger level setting unit 2000 the risk of contact of the person 15c existing on the right side of the front work apparatus 1A within the danger range 913 is set to 5 which is the highest value.
  • the overhead viewpoint determination unit 2100 determines an overhead viewpoint at the upper part of the person 15c, and the monitoring image creation unit 620 creates an image when the hydraulic excavator and the danger range are viewed with the virtual camera from the overhead viewpoint as the monitoring image 621. .
  • the monitor image 621 created in this way displays the excavator and the obstacle with the highest contact risk level, any obstacle can be contacted by the operator without any special judgment work. It is possible to instantly grasp whether the obstacle is the highest and where the obstacle is located with respect to the excavator.
  • the operation direction of the hydraulic excavator (the rightward direction that is the turning direction) can be displayed large, and the most dangerous obstacle (person 15c) existing in the operation direction can be displayed. Large display. Therefore, according to this embodiment, since the operator can instantly grasp the position of the most dangerous obstacle with respect to the hydraulic excavator, the working efficiency of the hydraulic excavator can be improved.
  • FIG. 22 is a diagram illustrating a second example of the monitoring image created by the monitoring image creation unit 620 in the image creation unit 600.
  • the front working device 1A and the upper turning body 1d are also moved backward in conjunction with this.
  • the danger level setting part 2000 in the danger range 917, the contact risk level of the person 15a existing behind the lower traveling body 1e is set to 5 which is the highest value.
  • the overhead viewpoint determination unit 2100 determines an overhead viewpoint at the top of the person 15a, and the monitoring image creation unit 620 creates an image when the hydraulic excavator and the danger range are viewed from the overhead viewpoint as the monitoring image 631. Therefore, also in this case, the operator can instantly grasp the position of the most dangerous obstacle with respect to the hydraulic excavator, so that the working efficiency of the hydraulic excavator can be improved.
  • FIG. 23 is a diagram illustrating a third example of the monitoring image created by the monitoring image creation unit 620 in the image creation unit 600.
  • the monitoring image creation unit 620 sets the highest contact risk level in the risk level setting unit 2000 in order to improve the operator's visibility as to which obstacle is the most dangerous.
  • a warning display 631 is superimposed on the obstacle (person 15c).
  • a substantially star-shaped figure is displayed on the person 15c as a warning display.
  • a warning display 631 is displayed in a superimposed manner on the portion estimated to be touched. That is, in the example of FIG. 23, the warning display 631 is displayed on the head of the person 15c. As described above, when the warning display 631 is displayed on the contact portion, the obstacle height set in S2054, 2055, 2073 and the outputs ⁇ 1 ⁇ of the angle detectors 8a-8d in the processing performed in the risk setting unit 2000. The tip height of the bucket 1c calculated using ⁇ 4 may be compared.
  • FIG. 24 is a diagram showing a fourth example of the monitoring image created by the monitoring image creation unit 620 in the image creation unit 600, and shows the monitoring image 621 when the warning display 632 is displayed on the body part of the person 15c. Yes.
  • FIG. 25 is a diagram illustrating a fifth example of the monitoring image created by the monitoring image creation unit 620 in the image creation unit 600.
  • the monitoring image creation unit 620 is set with the highest contact risk when the obstacle type for which the highest contact risk is set by the risk setting unit 2000 is a person.
  • An image 645 representing a person is drawn superimposed on the warning image 621 on the obstacle (person 15c).
  • the display 645 representing a person an image (photograph) obtained by extracting the person 15c without performing overhead conversion of the image of the camera 13 is displayed on the person 15c.
  • a character 641 “danger” and an arrow 643 indicating an obstacle with the highest contact risk are displayed in a superimposed manner, or a substantially star-shaped figure 642 is displayed. Visibility may be further enhanced by displaying the characters 641 in a superimposed manner.
  • FIG. 26 is a diagram illustrating a sixth example of the monitoring image created by the monitoring image creation unit 620 in the image creation unit 600.
  • the image 645 of the camera 13 is used as an image representing a person.
  • an illustration 655 that three-dimensionally represents the upper body of the person is used as the image representing the person. Different. In this way, even if other expression methods are used, it is possible to instantly grasp where a person exists on the monitoring image.
  • the visibility may be further enhanced by superimposing characters 651, a substantially star-shaped figure 652, an arrow 653, and the like as a warning display.
  • FIG. 27 is a diagram showing an example of a display screen of the display device 1300 according to the embodiment of the present invention.
  • a main display unit 1005 on which a warning image created by the image creation unit 600 is displayed, and a recording start for recording the warning image displayed on the main display unit 1005 over a predetermined time.
  • a button 1001, an enlarged display button 1003 for enlarging the monitoring image, and a standard display button 1004 for returning the enlargement by the enlarged display button 1003 are provided.
  • an illustration 665 representing the person's whole body three-dimensionally is displayed as an image representing the person.
  • a character 661 “danger”, a substantially star-shaped figure 662, an arrow 663 indicating an obstacle with the highest contact risk, and the like are further superimposed. it's shown.
  • the recording start button 1001 is provided in this manner, a warning image displayed on the main display unit 1005 can be recorded as necessary, such as when there is an obstacle (person 15c) that may be touched. Thereby, when an accident occurs, the recorded data can be used for investigating the cause.
  • the warning image may be set to be automatically recorded when the warning image is displayed on the main display unit 1005.
  • the enlarged display of the monitoring image may be manually enlarged by operating the enlargement display button 1003, or may be automatically enlarged when a warning image is displayed.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mining & Mineral Resources (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　カメラ１３で撮影した画像を利用して作業機械周囲の障害物を検出する障害物検出部４００と、検出された障害物の位置を算出する位置算出部５００と、作業機械の姿勢及び動作に基づいて危険範囲を算出する危険範囲算出部７００と、算出した危険範囲内に障害物が存在するか否かを判定する判定部８００と、危険範囲内の障害物に対して接触危険度を設定する危険度設定部２０００と、カメラ画像を作業機械を中心とする俯瞰画像に変換し、危険度設定部で最も高い接触危険度を設定された障害物の上方から当該俯瞰画像を俯瞰することで、当該俯瞰画像上における作業機械と危険範囲のすべてを含む画像を作成する画像作成部６００と、当該作成した画像を表示する表示装置１３００とを備える。　これにより、最も危険な障害物の作業機械に対する位置がオペレータに瞬時に把握されるので、作業機械による作業効率が向上する。

Description

作業機械の周辺監視装置
　本発明は作業機械周囲の障害物を監視する周辺監視装置に関する。
　油圧ショベル等の作業機械の周辺監視装置は、作業機械の周辺をカメラ等で監視して、作業時に作業機械の周囲に存在する人及び物（障害物）との接触を防止するためのものである。この種の技術には、オペレータが作業機械と周囲の障害物との位置関係を容易に把握することを図った技術として、作業時の作業機械の姿勢及びその作業範囲を描画した画像と、カメラで撮影した作業機械周辺の画像を作業機械の上方視点からの俯瞰画像に変換した画像と、カメラ等の検出手段で適宜検出した障害物を描画した画像とを、表示装置に重畳的に表示する技術がある（特開２００８－２４８６１３号公報等参照）。
特開２００８－２４８６１３号公報
　上記文献に係る技術は、表示装置に重畳的に表示される画像をオペレータが見ることで障害物の有無及び作業機械と障害物との位置関係を容易に把握できる点で優れている。ところで、複数の障害物が作業機械の周囲に表示された場合には、その中のどの障害物が接触の可能性が最も高いかを判断する必要が生じることもある。このような場合には、オペレータ自身がその判断を行わなければならならず、その判断作業が必然的に通常作業（掘削作業）の間に介入することになる。したがって、このような状況で作業機械が利用されることを想定すると、上記技術は作業機械による作業効率を向上させる観点から改善する余地がある。
　本発明の目的は、最も危険な障害物の作業機械に対する位置を瞬時に把握することができる作業機械の周辺監視装置を提供することにある。
　本発明は、上記目的を達成するために、作業機械周辺の画像を撮影する撮影手段と、当該撮影した画像を利用して前記作業機械周辺の障害物の存在を検出する障害物検出手段と、当該検出された障害物の作業機に対する相対位置を算出する位置算出手段と、前記作業機械の姿勢及び動作のうち少なくとも１つに基づいて、前記作業機械の周囲における危険範囲を算出する危険範囲算出手段と、前記算出した危険範囲内に障害物が存在するか否かを前記算出した障害物の位置に基づいて判定する判定手段と、前記判定手段で前記危険範囲内に存在すると判定された障害物に対して、前記撮影された画像から得られる当該障害物の種別、位置及び高さのうち少なくとも１つに基づいて接触危険度を設定する危険度設定手段と、前記撮影された画像を前記作業機械を中心とする俯瞰画像に変換し、前記危険度設定手段で最も高い接触危険度を設定された障害物の上方から当該俯瞰画像を俯瞰することで、当該俯瞰画像上における前記作業機械と前記危険範囲のすべてを含む画像を作成する画像作成手段と、当該作成した画像を表示する表示手段とを備えるものとする。
　本発明によれば、最も危険な障害物の作業機械に対する位置がオペレータに瞬時に把握されるので、作業機械による作業効率が向上する。
本発明の実施の形態に係る作業機械の一例である油圧ショベルの外観図。 本発明の実施の形態に係る作業機械の周辺監視装置の全体構成図。 本発明の実施の形態における画像作成部６００の構成図。 障害物検出部４００で利用される障害物の存在を検出する装置として、カメラ１３ａを用いた場合と、ミリ波レーダ１４ａを用いた場合の検知範囲の説明図。 本発明の実施の形態に係る油圧ショベルの周囲における障害物（人／物）と油圧ショベルの位置関係を示す説明図。 本発明の実施の形態に係る障害物検出部４００で行われる処理のフローチャート。 本発明の実施の形態に係る位置算出部５００で行われる処理のフローチャート。 Ｓ５２０において障害物とカメラ１３の距離を算出する際のフローチャート。 本発明の実施の形態に係る危険範囲算出部７００で行われる処理のフローチャート。 上部旋回体１ｄが右旋回した場合における危険範囲の算出例の説明図。 上部旋回体１ｄが左旋回した場合における危険範囲の算出例の説明図。 下部走行体１ｅが後進した場合における危険範囲の算出例の説明図。 本発明の実施の形態に係る判定部８００で行われる処理のフローチャート。 本発明の実施の形態に係る危険度設定部２０００で行われる処理のフローチャート。 危険度設定部２０００において行われる危険度設定処理に関する第１の説明図。 危険度設定部２０００において行われる危険度設定処理に関する第２の説明図。 危険度設定部２０００において行われる危険度設定処理に関する第３の説明図。 画像作成部６００における俯瞰画像作成部６１０で行われる処理のフローチャート。 画像作成部６００における俯瞰視点決定部２１００（俯瞰位置決定部２１３０及び俯瞰高さ決定部２１４０）で行われる処理のフローチャート。 俯瞰視点決定部２１００における俯瞰視点を決定する例の概念図。 画像作成部６００における監視画像作成部６２０が作成する監視画像の第１の例を示す図。 画像作成部６００における監視画像作成部６２０が作成する監視画像の第２の例を示す図。 画像作成部６００における監視画像作成部６２０が作成する監視画像の第３の例を示す図。 画像作成部６００における監視画像作成部６２０が作成する監視画像の第４の例を示す図。 画像作成部６００における監視画像作成部６２０が作成する監視画像の第５の例を示す図。 画像作成部６００における監視画像作成部６２０が作成する監視画像の第６の例を示す図。 本発明の実施の形態における表示装置１３００の表示画面の例を示す図。
　以下、本発明の実施の形態を図面を用いて説明する。図１は本発明の実施の形態に係る作業機械の一例である油圧ショベルの外観図である。この図に示す油圧ショベルは、垂直方向にそれぞれ回動するブーム１ａ，アーム１ｂ及びバケット１ｃからなる多関節型のフロント作業装置１Ａと、上部旋回体１ｄ及び下部走行体１ｅからなる車体１Ｂと、運転室１ｆ内に設置された表示装置１３００を備えている。
　運転室１ｆは上部旋回体１ｄに備えられている。フロント作業装置１Ａのブーム１ａの基端は上部旋回体１ｄの前部に支持されている。ブーム１ａ、アーム１ｂ、バケット１ｃ、上部旋回体１ｄ及び下部走行体１ｅは、それぞれ、ブームシリンダ３ａ、アームシリンダ３ｂ、バケットシリンダ３ｃ、旋回モータ（図示せず）及び左右の走行モータ３ｅ，３ｆ（図示せず）の各アクチュエータによりそれぞれ駆動される。また、ブーム１ａ、アーム１ｂ、バケット１ｃ及び上部旋回体１ｄは、それぞれの回動角（θ１，θ２，θ３，θ４）を検出する角度検出器８ａ，８ｂ，８ｃ，８ｄを備えている。
　上部旋回体１ｄには、油圧ショベル周囲の画像を撮影する後方カメラ１３ａ、右側方カメラ１３ｂ及び左側方１３ｃ（撮影手段）が設置されている。後方カメラ１３ａは、上部旋回体１ｄの後方の画像を撮影するためのもので、上部旋回体１ｄの後方に設置されている。右側方カメラ１３ｂは、上部旋回体１ｄの右側方の画像を撮影するためのもので、上部旋回体１ｄの右側方に設置されている。左側方カメラ１３ｃは、上部旋回体１ｄの左側方の画像を撮影するためのもので、上部旋回体１ｄの左側方に設置されている。
　図２は本発明の実施の形態に係る作業機械の周辺監視装置の全体構成図である。なお、先の図と同じ部分には同じ符号を付して説明は省略する（後の図も同様とする）。この図に示す周辺監視装置は、カメラ１３ａ，１３ｂ，１３ｃと、障害物検出部４００と、位置算出部５００と、危険範囲算出部７００と、判定部８００と、危険度設定部２０００と、画像作成部６００と、表示装置１３００と、各部が行う処理を実行するＣＰＵ等の処理装置（図示せず）と、各部で行われる処理内容や処理結果が記憶されるメモリ等の記憶装置（図示せず）を備えている。
　障害物検出部４００は、カメラ１３ａ，１３ｂ，１３ｃで撮影した画像を利用して油圧ショベル周辺の障害物の存在を検出する部分であり、位置算出部５００は、障害物検出部４００で検出された障害物の油圧ショベルに対する相対位置を算出する部分である。
　危険範囲算出部７００は、油圧ショベルの姿勢及び動作のうち少なくとも１つに基づいて、油圧ショベルの周囲における危険範囲を算出する部分である。ここで、油圧ショベルの姿勢（上部旋回体１ｄの旋回角度及びフロント作業装置１Ａの姿勢等）は、角度検出器８ａ，８ｂ，８ｃ，８ｄによって検出された検出角度θ１，θ２，θ３，θ４から算出することができる。また、油圧ショベルの動作は、運転室１ｆ内に設置された操作装置（操作レバー）３０からブームシリンダ３ａ、アームシリンダ３ｂ、バケットシリンダ３ｃ、旋回モータ（図示せず）及び左右の走行モータ３ｅ，３ｆに出力される操作信号（油圧信号又は電気信号）や、角角度検出器８ａ，８ｂ，８ｃ，８ｄによる検出角度θ１，θ２，θ３，θ４の時間変化から算出することができる。
　判定部８００は、危険範囲算出部７００で算出された危険範囲内に障害物が存在するか否かを位置算出部５００で算出された障害物の位置に基づいて判定する部分である。ここで、「危険範囲内」とは危険範囲の内側（油圧ショベル側）と危険範囲上の領域を示すこととし、「危険範囲外」とは危険範囲上を除く危険範囲の外側の領域を示すこととする。
　危険度設定手段２０００は、判定部８００で危険範囲内に存在すると判定された障害物に対して、カメラ１３ａ，１３ｂ，１３ｃで撮影された画像から得られる当該障害物の種別（人／物）、位置及び高さのうち少なくとも１つに基づいて接触危険度（単に危険度と称することもある）を設定する部分である。
　画像作成部６００は、カメラ１３ａ，１３ｂ，１３ｃで撮影された画像を油圧ショベルを中心とする俯瞰画像に変換し、危険度設定部２０００で最も高い接触危険度を設定された障害物の上方から当該俯瞰画像を俯瞰した画像（監視画像）を作成する部分である。画像作成部６００によって作成される監視画像には、俯瞰画像上における油圧ショベルと危険範囲算出部７００で算出された危険範囲のすべてが含まれる。
　図３は本発明の実施の形態における画像作成部６００の構成図である。この図に示すように、画像作成部６００は、俯瞰画像作成部６１０と、俯瞰視点決定部２１００と、監視画像作成部６２０を備えている。
　俯瞰画像作成部６１０は、カメラ１３ａ，１３ｂ，１３ｃで撮影された画像を油圧ショベルを中心とする俯瞰画像に変換する部分である。ここで、俯瞰画像とは、油圧ショベルを中心とした作業地を当該油圧ショベルの真上の位置から見たときに得られる平面図に相当する画像のことを示し、本実施の形態では３つのカメラ１３ａ，１３ｂ，１３ｃの画像を変換及び合成することで作成される。カメラで撮影した画像を俯瞰画像に変換する方法は、例えば、後述する方法や、特開２００６－４８４５１号公報に記載されている方法等が利用可能である。
　俯瞰視点決定部２１００は、俯瞰画像作成部６１０で作成した俯瞰画像を仮想カメラ（図示せず）で俯瞰する視点（俯瞰視点）を決定する部分であり、俯瞰位置決定部２１３０と、俯瞰高さ決定部２１４０を備えている。俯瞰位置決定部２１３０は、俯瞰視点の水平面上の位置を決定する部分であり、本実施の形態では、危険度設定部２０００で最も高い接触危険度を設定された障害物の水平面位置を俯瞰位置とする。俯瞰高さ決定部２１４０は、俯瞰視点の高さ位置を決定する部分であり、本実施の形態では、仮想カメラに撮影される画像内に少なくとも油圧ショベルと危険範囲算出部７００で算出された危険範囲が含まれるように俯瞰高さを決定している。なお、このように俯瞰高さ（仮想カメラの高さ）を調節する代わりに又は併せて、仮想カメラの画像に油圧ショベルと危険範囲が含まれるように当該仮想カメラの焦点距離（画角）を調節しても良い。
　監視画像作成部６２０は、俯瞰画像作成部６１０で作成された俯瞰画像を俯瞰視点決定部２１００で決定した俯瞰視点から仮想カメラで撮影することで監視画像を作成する部分である。監視画像作成部６２０は、作成した監視画像上に適宜必要な画像を合成して表示する処理も行う。例えば、監視画像は、油圧ショベルに対する障害物の位置関係がオペレータに容易に把握されるように、俯瞰画像の中心に油圧ショベルを模した図形（模擬作業機械図）を表示することが好ましい。模擬作業機械図を表示する方法としては、俯瞰画像の中央に油圧ショベルのイラストや３次元モデルを表示するものがある。なお、その際、オペレータによる状況把握をさらに容易にするために、当該模擬作業機械図に実際の油圧ショベルの姿勢や動作を反映させることが好ましい。
　さらに、オペレータの視認性を向上させるために、最も接触危険度が高い障害物が人である場合には、当該障害物の上に警告表示を重畳的に描画することが好ましい。警告表示としては、例えば、図形（星形の図形等）や文字（「危険」等）があり、これらに対して監視画像中において目立つ彩色を施すことが好ましい。また、俯瞰画像に変換すると画像が適宜拡大縮小されて障害物の種別が判別し難くなる傾向が強い。そのため、最も接触危険度が高い障害物が人である場合には、オペレータの視認性を向上させるために、当該障害物の上に人を示す画像を重畳的に描画しても良い。その際、人を示す画像としては、例えば、人のイラストや写真等がある。なお、これらに対しても、監視画像中において目立つ彩色を施すことが好ましい。
　図２に戻り、表示装置１３００は、画像作成部６００で作成した画像を表示する部分であり、図１に示したように運転室１ｆ内に設置されている。なお、表示装置１３００は、油圧ショベルの運転室１ｆにおいてオペレータ（運転員）が目視確認容易な位置に設置することが好ましい。
　なお、周辺監視装置は、画像処理が可能なコンピュータと表示装置、または、画像処理専用装置と表示装置で構成しても良い。
　ところで、油圧ショベルにおいて、障害物検出部４００における障害物検出性能を向上させる観点からは、ミリ波レーダのような距離センサを設置する代わりに、上記のカメラ１３ａ，１３ｂ，１３ｃを上部旋回体１ｄに設置することが好ましい。例えば、本実施の形態の油圧ショベルにおいて、図１に示すように、上部旋回体１ｄの後方から障害物までの距離を計測するミリ波レーダ１４ａを後方カメラ１３ａの下方に設置し、上部旋回体１ｄの右側方から障害物までの距離を計測するミリ波レーダ１４ｂを右側方カメラ１３ｂの下方に設置し、上部旋回体１ｄの左側方から障害物までの距離を計測するミリ波レーダ１４ｃを左側方カメラ１３ｃの下方に設置したとし、障害物の検出にカメラ１３を用いた場合とミリ波レーダ１４を用いた場合とで比較する。
　図４は障害物検出部４００で利用される障害物の存在を検出する装置として、カメラ１３ａを用いた場合と、ミリ波レーダ１４ａを用いた場合の検知範囲の説明図である。ミリ波レーダ１４ａは、水平方向のスキャン２１が可能であり、垂直方向のスキャンは困難である。ここで、一般的な油圧ショベルの下部走行体１ｅの高さは１.０ｍ以上あるため、ミリ波レーダ１４ａの設置高は１.０ｍより高い位置に設置せざるを得ない。そのため、ミリ波レーダ１４ａの直下に設置高さより低い障害物（例えば、座っている人１５ａ（高さ０.８ｍ程度））がある場合には、当該障害物はミリ波レーダ１４ａの死角になり検知不可能になる。一方、車体１Ｂの最上部にカメラ１３ａをその真下が撮影可能なような俯角で設置すると、水平方向と垂直方向の撮影２０ａが可能となるので、座っている人１５ａも撮影でき、ミリ波レーダ１４ａのような死角は発生しない。したがって、本実施の形態のようにカメラ１３ａ，１３ｂ，１３ｃを用いると、障害物の検出性能が向上し安全性も高まる。なお、カメラ１３ａ，１３ｂ，１３ｃに加えて、ミリ波レーダ１４ａ，１４ｂ，１４ｃを設置すると、検出性能がさらに向上することは言うまでもない。
　次に上記のように構成される油圧ショベルの周辺監視装置を図５に示す環境で動作させた場合について説明する。図５は本発明の実施の形態に係る油圧ショベルの周囲における障害物（人／物）と油圧ショベルの位置関係を示す説明図である。この図において、上部旋回体１ｄの後方にはカメラ１３ａとミリ波レーダ１４ａが、右側方にはカメラ１３ｂとミリ波レーダ１４ｂ（図示せず）が、左側方にはカメラ１３ｃとミリ波レーダ１４ｃが設置されている。また、オペレータから見え難い方向である上部旋回体１ｄの後方には、作業員１５ａ，１５ｂと、土嚢１６、カラーコーン１７及びポールサイドコーン１９が存在し、右側方に作業員１５ｃ，１５ｄが存在し、左側方に作業員１５ｅが存在している。
　図６は本発明の実施の形態に係る障害物検出部４００で行われる処理のフローチャートである。周辺監視装置において周辺監視処理が開始されると、障害物検出部４００は、まず、カメラ１３が撮影した画像を入力し（Ｓ４０１）、直前又はｎフレーム前におけるカメラ１３からの入力画像や、障害物が無い状態を別途撮影した画像等を背景画像として入力する（Ｓ４０２）。そして、Ｓ４０１の入力画像とＳ４０２の背景画像を用いて画素毎の差分画像を作成し（Ｓ４０３）、その作成した差分画像において輝度が所定の閾値（７～１５程度）未満の部分を０とし、それ以上の部分を１以上にする２値化処理を行って障害物の変化領域を抽出する（Ｓ４０４）。
　次にＳ４０４において抽出した変化領域に面積が所定の閾値以上の部分が有るか否かを判定する（Ｓ４０５）。ここで利用される閾値は、カメラ１３から離れた障害物ほど小さく撮影されることを鑑みて、カメラ１３からの距離の増加に伴って減少するように設定することが好ましい。Ｓ４０５において変化領域に面積が閾値以上の部分がある場合には、障害物領域が存在すると判定して（Ｓ４０６）Ｓ４０８に進み、閾値未満の部分しかない場合には障害物は存在しないと判定して（Ｓ４０７）Ｓ４０１以降の処理を繰り返す。
　Ｓ４０８では障害物領域は複数存在するか否かをチェックする。Ｓ４０８で、障害物領域の個数が１個であると判定された場合には障害物領域の個数を１個（ｎ＝１）とする（Ｓ４０９）。そして、ｋを１に設定して（Ｓ４１１）、当該障害物領域に対する外接矩形の左上座標と右下座標を記憶装置に格納し（Ｓ４１３）、Ｓ４０１以降の処理を繰り返す。
　一方、Ｓ４０８において障害物領域が複数存在すると判定された場合には当該障害物領域の個数を複数個（ｎ）とする（Ｓ４１０）。そして、ｋを１に設定して（Ｓ４１２）、１番目の障害物領域に対する外接矩形の左上座標と右下座標を記憶装置に格納し（Ｓ４１３）、すべての障害物領域に対して座標を格納したか否か、すなわちｋがｎに達したか否かをチェックする（Ｓ４１４）。Ｓ４１４でｋがｎに達していない場合には、ｋを１つ進めて（Ｓ４１５）Ｓ４１３に戻り、以降は障害物領域の個数分だけＳ４１３→Ｓ４１４→Ｓ４１５の処理を繰り返す。上記の処理により、油圧ショベル周辺の障害物の存在を検出することができる。
　図７は本発明の実施の形態に係る位置算出部５００で行われる処理のフローチャートである。周辺監視装置において周辺監視処理が開始されると、位置算出部５００は、障害物検出部４００によって抽出された領域（抽出領域）に外接矩形が存在するか否か、すなわち、障害物検出部４００によって記憶装置に外接矩形の座標が格納されているか否かをチェックする（Ｓ５０１）。
　Ｓ５０１において、抽出領域に外径矩形が存在する場合にはＳ５０２に進み、外接矩形が存在しない場合には外接矩形が存在するまでチェックし続ける。抽出領域に外径矩形が存在する場合には、外接矩形における下辺の中点の座標（画素）を、障害物の位置算出時の基点とし（Ｓ５０２）、当該障害物のカメラ１３からの距離を算出する（Ｓ５２０）。
　図８はＳ５２０において障害物とカメラ１３の距離を算出する際のフローチャートである。
　ところで、カメラ（イメージセンサ）からの距離を算出する原理として、実際の地上３Ｄ座標とカメラ画像処理画面などのカメラ画面座標系の変換モデルとして最も一般的な手法はピンホールカメラモデルである。この手法では、地上３Ｄ座標に対して移動と回転変換を行ってカメラ３Ｄ座標を算出し、更に、その算出したカメラ３Ｄ座標に投影変換を行うことでカメラ画像２Ｄ座標を算出できる。すなわち、地上３Ｄ座標系とカメラ位置パラメータを組み合わせたものに、側写角パラメータ、俯角パラメータ及び回転角パラメータに関する回転行列を掛けるとカメラ３Ｄ座標系が得られる。そして当該カメラ３Ｄ座標系とスケールパラメータを組み合わせて射影変換を行うとカメラ画面２Ｄ座標系になる。ここで利用される、カメラパラメータとしては、（１）カメラ位置パラメータ（カメラレンズ中心すなわち視点の地上３Ｄ座標）、（２）俯角パラメータ、（３）側写角パラメータ、（４）回転角パラメータ、（５）スケールパラメータがある。このうち、（１）カメラ位置パラメータ、（２）俯角パラメータ及び（３）側写角パラメータはカメラの設置仕様データから計算できる。（４）回転角パラメータは、（２）俯角パラメータ及び（３）側写角パラメータに従属的なパラメータなので変換内部で算出できる。（５）スケールパラメータはズーム率に従属するパラメータである。したがって、各カメラパラメータは、実際にカメラを設置した後に既知の大きさの物体を使いキャリブレーションを行うことで算出でき、これを用いることでカメラ画像の距離が算出できる。
　Ｓ５２０では、上記の原理により地上３Ｄ座標系からカメラ画面２Ｄ座標系への変換を行って、障害物のカメラ１３からの距離を算出している。位置算出部５００は、まず、地上３Ｄ座標から移動と回転変換を行ってカメラ３Ｄ座標変換の変換行列を算出し（Ｓ５２１）、カメラ３Ｄ座標から投影変換を行ってカメラ画面２Ｄ座標変換の変換行列を算出する（Ｓ５２２）。次に、ステップ５２２で作成した変換行列を用いてカメラ画面２Ｄ座標の画像を作成し（Ｓ５２３）、カメラ内部パラメータを用いたキャリブレーションにより、２Ｄ画像の画素における距離を計算する（Ｓ５２４）。そして、Ｓ５０２で決定した害物領域の基点（外接矩形における下辺の中点）からカメラ１３までの距離を算出し（Ｓ５２５）、Ｓ５０３に進む。
　図６に戻り、Ｓ５０３では、外接矩形がカメラ１３の近くの領域に位置するか否か、すなわち、Ｓ５２０で算出した距離が所定の閾値以下であるかをチェックする。Ｓ５２０で算出した距離が閾値以下の場合、外接矩形がカメラ１３の近くの領域に位置すると判定し、抽出領域は障害物の一部分であると推定して当該障害物の特徴を抽出する（Ｓ５０４）。具体的には、Ｓ５０６において、当該抽出領域にヘルメットの特徴である円形が存在するか否かをチェックする。Ｓ５０６において、円形が存在すると判定された場合には、当該抽出領域はヘルメットを着用している作業員（人）であると決定し（Ｓ５１０）、円形が存在しないと判定された場合には当該抽出領域は物であると決定する（Ｓ５１１）。
　一方、Ｓ５０３において、Ｓ５２０で算出した距離が閾値より大きい場合には、抽出領域には障害物の全体が撮影されていると推定して、当該障害物の特徴を抽出する（Ｓ５０５）。具体的には、Ｓ５０７において、抽出領域の縦横比は人が立った状態のものに近いか、または、抽出領域を頭部、胴体部及び下部に３分割してそれぞれの輪郭形状や色等を抽出し人の頭部、胴体部及び下部の特徴があるか否かを判定する。即ち、縦横比は縦長か否か、または、抽出領域の頭部に扇型の輪郭が現れているか、胴体部のうち肩部に斜め輪郭が胴体部に縦輪郭が現れているか、下部に逆Ｖ字の輪郭や縦輪郭が現れているか否かをチェックする。Ｓ５０７において、抽出領域にこれらの特徴が複数現れている場合には、当該抽出領域は人であると決定し（Ｓ５０８）、これら特徴が１個以下しか存在しない場合には物であると決定する（Ｓ５０９）。Ｓ５０８～Ｓ５１１において抽出領域の種別（人／もの）の選別が終了したら、全ての抽出領域の距離算出及び種別決定は終了したか否かをチェックし（Ｓ５１２）、終了していない場合にはＳ５０１に戻り、Ｓ５０１以降の処理を繰り返す。上記の処理により、障害物検出部４００で検出された障害物の油圧ショベルに対する相対位置を算出することができる。なお、上記において、ステップ５０３で判定した結果に応じて、その後の種別判別処理（Ｓ５０６，５０７）において上記と異なる手法を適用してもよい。
　図９は本発明の実施の形態に係る危険範囲算出部７００で行われる処理のフローチャートである。周辺監視装置において周辺監視処理が開始されると、危険範囲算出部７００は、まず、ブーム１ａの回動角を検出する角度検出器８ａの出力θ１を取込み、アーム１ｂの回動角を検出する角度検出器８ｂの出力θ２を取込み、バケット１ｃの回動角を検出する角度検出器８ｃの出力θ３を取込み、上部旋回体１ｄの回動角を検出する角度検出器８ｄの出力θ４を取込む（Ｓ７０１）。次に、Ｓ７０１における出力θ１、出力θ２、出力θ３、出力θ４から、バケット１ｃの先端座標と高さを算出し（Ｓ７０２）、フロント作業装置１Ａの大きさ（長さ）と下部走行体１ｅからの上部旋回体１ｄの旋回方向を算出することで（Ｓ７０３）、油圧ショベルの姿勢を算出する。
　次に、危険範囲算出部７００は、操作装置３０から出力される操作信号を取込み（Ｓ７０４）、取り込んだ操作信号に基づいて油圧ショベルの動作（ブーム１ａ、アーム１ｂ及びバケット１ｃの移動方向、上部旋回体１ｄの旋回方向、下部走行体１ｅの移動方向等）を算出する（Ｓ７０５）。
　次に、危険範囲算出部７００は、ショベル仕様記憶部７０６に記憶された油圧ショベルのサイズ（上部旋回体１ｄのサイズ等）を取り込み（Ｓ７０７）、Ｓ７０３で算出された油圧ショベルの姿勢及びＳ７０５で算出された油圧ショベルの動作及びＳ７０７で取り込まれた油圧ショベルのサイズに基づいて、油圧ショベルの周囲における危険範囲を算出する（Ｓ７０８）。危険範囲の算出が終了したらＳ７０１に戻り、以降の処理を繰り返す。
　上記の処理により油圧ショベルの周囲における危険範囲を算出することができる。また、上記Ｓ７０１～Ｓ７０８の一連の処理は、油圧ショベルの稼動中に時々刻々変化するデータを取り込んで行われるものである。そのため、油圧ショベルの姿勢及び動作に連動して危険範囲が算出されるので、監視区域を最適にすることができる。また、後述するように危険度設定部２０００では、障害物が危険範囲内に有るか危険範囲外に有るかに応じて接触危険度を変更しているので、真に必要なときにだけ警告を表示することができる。例えば、危険範囲内に障害物がある場合に限って警告表示をするようにすれば、油圧ショベルの動作が制限される場面が抑制されるので作業効率を向上できる。なお、上記では、油圧ショベルの状態と危険範囲の連動性を向上させる観点から、油圧ショベルの姿勢及び動作の両方に基づいて危険範囲を算出したが、油圧ショベルの姿勢及び動作のいずれか一方に基づいて危険範囲を算出しても良い。また、上記に加え、各角度検出器８による検出角度θの時間変化、すなわち移動速度を鑑みて危険範囲を算出しても良い。
　図１０～図１２は危険範囲算出部７００で算出される危険範囲の例を示す。ここでは、便宜上、後方カメラ１３ａ、右側方カメラ１３ｂ、左側方カメラ１３ｃが撮影した画像を変換して得た俯瞰画像（後述）を油圧ショベルの真上から見たときの画像９１１を利用して説明する。
　図１０は上部旋回体１ｄが右旋回した場合における危険範囲の算出例の説明図である。いま、上部旋回体１ｄ（油圧ショベル）が右旋回９１２すると、これに連動してフロント作業装置１Ａも右方向へ移動する。危険範囲算出部７００は、この動作状態に基づいて油圧ショベル周囲の危険範囲を算出する。具体的には、油圧ショベルの動作に連動して、旋回方向である右方向の範囲が広く、旋回方向と異なる後方や左方向の範囲が狭い危険範囲９１３が算出される。このように危険範囲は油圧ショベルの動作と連動して算出されるため、周辺監視装置による監視区域が最適となる。
　図１１は上部旋回体１ｄが左旋回した場合における危険範囲の算出例の説明図である。上部旋回体１ｄが左旋回９１５すると、これに連動してフロント作業装置１Ａも左方向へ移動する。危険範囲算出部７００は、この動作状態に基づいて油圧ショベル周囲の危険範囲を算出する。具体的には、油圧ショベルの動作に連動して、旋回方向である左方向の範囲が広く、旋回方向と異なる後方や右方向の範囲が狭い危険範囲９１６が算出される。
　図１２は下部走行体１ｅが後進した場合における危険範囲の算出例の説明図である。下部走行体１ｅが後進９１７すると、これに連動して上部旋回体１ｄも後進する。危険範囲算出部７００は、ステップ７０７で取り込んだ油圧ショベルのサイズ（横幅）等を利用して、この動作状態に基づいた危険範囲を算出する。具体的には、移動方向である油圧ショベルの後ろ側において油圧ショベルの横幅と同じ幅を有する危険範囲９１８が算出される。
　図１３は本発明の実施の形態に係る判定部８００で行われる処理のフローチャートである。周辺監視装置において、周辺監視処理が開始されると、判定部８００は、危険範囲算出部７００が算出した危険範囲内に障害物検出部４００で検出された障害物が存在するか否かを、位置算出部５００で算出した当該障害物の位置に基づいて判定する（Ｓ８０１，８０２）。Ｓ８０２において、危険範囲内に存在すると判定された場合はその結果を記憶装置に記憶し（Ｓ８０３）、危険範囲外に存在すると判定された場合には同様にその結果を記憶装置に記憶する（Ｓ８０４）。このように記憶された判定結果は、他の処理（例えば、危険度設定部２０００）で利用される。記憶装置への書き込みが完了したら、すべての障害物について時間毎にＳ８０１の判定を繰り返し行う。この処理により各障害物が危険範囲内に存在するか否かを判別することができる。
　図１４は本発明の実施の形態に係る危険度設定部２０００で行われる処理のフローチャートである。周辺監視装置において、周辺監視処理が開始されると、危険度設定部２０００は、まず、判定部８００の判定結果に基づいて危険範囲内に障害物が存在するか否かをチェックする（Ｓ２０５１）。Ｓ２０５１において、危険範囲内に障害物が存在しないと判定された場合には接触危険度を設定することなく（危険度を０とする）（Ｓ２０７１）、処理を終了する。一方、Ｓ２０５１において、危険範囲内に障害物が存在すると判定された場合には、Ｓ２０５２以下の処理において、カメラ１３の画像から得られる各障害物の種別、位置及び高さに基づいて、危険範囲内に存在する各障害物に対して接触危険度を設定していく。
　Ｓ２０５２では、危険度設定部２０００は、危険範囲内に存在する障害物のうち接触危険度が設定されていないものについて、当該障害物は人か否かをチェックする。Ｓ２０５２で障害物が人ではないと判定した場合には（すなわち、障害物は物）、当該障害物の高さを所定の高さ（例えば、２００ｃｍ）に設定し（Ｓ２０７３）、Ｓ２０６３に進む。
　一方、Ｓ２０５２で障害物が人であると判定した場合には、障害物検出部４００によって格納された抽出領域の外接矩形の左上座標と右下座標に基づいて、当該外接矩形の形状が縦長か否かまたは隣り合う２辺が同等の長さか否か判定する（Ｓ２０５３）。Ｓ２０５３で縦長または同等の長さであると判定された場合には、抽出領域には立っている人が含まれると推定し、その高さを設定値（例えば１８０ｃｍ）に設定し（Ｓ２０５４）、Ｓ２０５６に進む。一方、Ｓ２０５３で縦長または同等の長さでないと判定された場合には、抽出領域にはかがんでいる人が含まれると推定し、その高さを設定値（例えば８０ｃｍ）に設定し（Ｓ２０５５）、Ｓ２０５６に進む。
　Ｓ２０５６では、操作装置の操作信号又は角度検出器８ｄの検出角度θ４の時間変化等に基づいて、油圧ショベルの動作は旋回（右旋回及び左旋回）又は後進か否かを判定する。Ｓ２０５６で旋回も後進もしない場合には、接触危険度を２に設定し（Ｓ２０５７）、Ｓ２０７０に進む。一方、Ｓ２０５６において、油圧ショベルが旋回又は後進すると判定された場合には、Ｓ２０５８に進む。
　Ｓ２０５８では、危険範囲内の他の障害物と比較して、当該障害物が油圧ショベルの動作方向に最も近い位置に存在する人であるか否かを判定する。具体的には、Ｓ２０５８において油圧ショベルが旋回すると判定された場合には、まず、油圧ショベルの旋回中心を中心とする円の半径を０からバケット先端にまで至るまで徐々に大きくすることで複数の同心円を描く。そして、接触危険度を設定する対象となっている障害物が、当該複数の同心円上の旋回方向においてフロント作業装置１Ａから最も近い位置に存在する人であるか否かを判定する。また、Ｓ２０５８において油圧ショベルが後進すると判定された場合には、接触危険度を設定する対象となっている障害物が、油圧ショベルの後ろ側において最も近い位置に存在する人であるか否かを判定する。このＳ２０５８において、障害物が油圧ショベルの動作方向に最も近い人であると判定された場合には、接触危険度を５に設定し（Ｓ２０５９）、Ｓ２０７０に進む。すなわち、Ｓ２０５９では、危険範囲内に存在する種別が人である障害物の中で、フロント作業装置１Ａの旋回方向又は油圧ショベルの後進方向において当該フロント作業装置１Ａ又は油圧ショベルに最も近い位置に存在する人（障害物）に最も高い接触危険度を設定している。一方、Ｓ２０５８において、油圧ショベルの動作方向に最も近い人ではないと判定された場合には、Ｓ２０６０に進む。
　Ｓ２０６０では、バケット１ｃの先端の高さはＳ２０５４，２０５５で設定した障害物の高さ以下か否かチェックする。バケット１ｃの高さがＳ２０５４，２０５５の高さ以下の場合には、接触危険度を４に設定し（Ｓ２０６２）、Ｓ２０７０に進む。一方、Ｓ２０６０において、バケット１ｃの高さがＳ２０５４，２０５５の高さよりも高い場合には、接触危険度を３に設定し（Ｓ２０６１）、Ｓ２０７０に進む。
　Ｓ２０６３では、操作装置の操作信号又は角度検出器８ｄの検出角度θ４の時間変化等に基づいて、油圧ショベルの動作が旋回（右旋回及び左旋回）又は後進か否かを判定する。Ｓ２０６３で旋回も後進もしない場合には、接触危険度を１に設定し（Ｓ２０６４）、Ｓ２０７０に進む。一方、Ｓ２０６３において、油圧ショベルが旋回又は後進すると判定された場合には、Ｓ２０６５に進む。
　Ｓ２０６５では、危険範囲内の他の障害物と比較して、当該障害物が油圧ショベルの動作方向に最も近い位置に存在する物であるか否かを判定する。その判定の具体的方法は、Ｓ２０５８で説明したものと同様である。Ｓ２０６５において、障害物が油圧ショベルの動作方向に最も近い物であると判定された場合には、接触危険度を４に設定し（Ｓ２０６６）、Ｓ２０７０に進む。すなわち、Ｓ２０６６では、危険範囲内に存在する種別が物である障害物の中で、フロント作業装置１Ａの旋回方向又は油圧ショベルの後進方向において当該フロント作業装置１Ａ又は油圧ショベルに最も近い位置に存在する物（障害物）に最も高い接触危険度を設定している。一方、Ｓ２０６５において、油圧ショベルの動作方向に最も近い物ではないと判定された場合には、Ｓ２０６７に進む。
　Ｓ２０６７では、バケット１ｃの先端の高さはＳ２０７３で設定した障害物の高さ以下か否かチェックする。バケット１ｃの高さがＳ２０７３の高さ以下の場合には、接触危険度を３に設定し（Ｓ２０６９）、Ｓ２０７０に進む。一方、Ｓ２０６７において、バケット１ｃの高さがＳ２０７３の高さよりも高い場合には、接触危険度を２に設定し（Ｓ２０６８）、Ｓ２０７０に進む。
　Ｓ２０７０では、危険度設定部２０００は、危険範囲内の全障害物に対して接触危険度を設定したか否かをチェックする。ここで、危険範囲内にまだ接触危険度を設定していない障害物が存在する場合にはＳ２０５２に戻り、Ｓ２０５２以降の処理を繰り返す。Ｓ２０７０において全部の障害物に対して接触危険度が設定されていると判定された場合には処理を一旦終了する。なお、危険範囲の更新や障害物が新しく検出された場合等には、適宜上記一連の危険度設定処理を再度実行する。この処理により危険範囲内に存在する全障害物について接触危険度を設定することができる。このとき、油圧ショベルの旋回や後進時に危険範囲内に人が存在する場合には、最も高い接触危険度（５）を当該人に設定することができる。
　なお、上記の例では、障害物の種別（人か／物か）と、位置（危険範囲内か／油圧ショベルに近いか）と、高さ（バケット１ｃ先端より低いか）に基づいて接触危険度を設定したが、これらのうち少なくとも１つに基づいて接触危険度を各障害物に設定しても良い。
　図１５は危険度設定部２０００において行われる危険度設定処理に関する第１の説明図である。この図は、油圧ショベルが右旋回し、危険範囲９１３内に物１６，１７と、人１５ａ，１５ｂが存在し、危険範囲９１３外に物１８と人１５ｃが存在する場合を示し、バケット１ｃの先端の高さは１５０ｃｍとする。
　この図に示す場合は、危険範囲９１３外に存在する物１８と人１５ｃに対しては、Ｓ２０５１，２０７１の処理に従って接触危険度は設定されない。そして、バケット１ｃの先端の高さは１５０ｃｍであるので、危険範囲９１３内に存在する物１６については、上部旋回体１ｄの旋回中心２１５１からの距離が同じ同心円２０９４の領域のうちフロント作業装置１Ａの移動方向に最も近いので、Ｓ２０６５，２０６６の処理に従って接触危険度として４が設定される。また、物１７については、Ｓ２０６７，２０６９の処理に従って接触危険度として３が設定される。さらに、人１５ｂについては、上部旋回体１ｄの旋回中心２１５１からの距離が同じ同心円２０９４の領域のうちフロント作業装置１Ａの移動方向に最も近いので、Ｓ２０５８，２０５９の処理に従って接触危険度として５が設定され、人１５ｃについては、Ｓ２０６０，２０６１の処理に従って接触危険度として３が設定される。すなわち、この図のなかで最も接触危険度が高いのは人１５ｂとなる。
　図１６は危険度設定部２０００において行われる危険度設定処理に関する第２の説明図である。この図は、油圧ショベルが右旋回し、危険範囲９１３内に物１６，１７が存在し、危険範囲９１３外に物１８と人１５ｃが存在する場合を示し、バケット１ｃの先端の高さは１５０ｃｍとする。
　この図に示す場合は、図１５の場合と同様に、危険範囲９１３外に存在する物１８と人１５ｃに対しては、Ｓ２０５１，２０７１の処理に従って接触危険度は設定されない。そして、バケット１ｃの先端の高さは１５０ｃｍであるので、危険範囲９１３内に存在する物１６については、上部旋回体１ｄの旋回中心２１５１からの距離が同じ同心円２０９８の領域のうちフロント作業装置１Ａの移動方向に最も近いので、Ｓ２０６５，２０６６の処理に従って接触危険度として４が設定される。また、物１７については、Ｓ２０６７，２０６９の処理に従って接触危険度として３が設定される。すなわち、この図のなかで最も接触危険度が高いのは物１６となる。
　図１６は危険度設定部２０００において行われる危険度設定処理に関する第３の説明図である。この図は、油圧ショベルが右旋回し、危険範囲９１３外に物１８と人１５ｃが存在する場合を示す。この図に示す場合は、すべての障害物１８，１５ｃが危険範囲９１３の外に存在しているので、各障害物に接触危険度として０が設定される。すなわち、この場合には、接触危険度が設定される障害物は存在しない。
　次に本発明の実施の形態に係る画像作成部６００で行われる処理について説明する。図１８は画像作成部６００における俯瞰画像作成部６１０で行われる処理のフローチャートである。俯瞰画像作成部６１０は、まず、地上３Ｄ座標をカメラ３Ｄ座標に変換する変換行列を算出する（Ｓ５２１）。そして、カメラ３Ｄ座標をカメラ画面２Ｄ座標に変換する変換行列を算出する（Ｓ５２２）。さらに、これら変換行列を用いてカメラ１３の画像からカメラ画面２Ｄ座標の画像（俯瞰画像）を作成する（Ｓ５２３）。そして、Ｓ５２１，５２２，５２３の処理を行って作成した俯瞰画像を、油圧ショベルを模した図形（模擬作業機械図）の周囲に配置し、Ｓ５２１に戻ってＳ５２１以降の処理を繰り返す。本実施の形態では、後方カメラ１３ａの俯瞰画像を模擬作業機械図の後方に配置し、右側方カメラ１３ｂの俯瞰画像を模擬作業機械図の右側方に配置し、左側方カメラ１３ｃの俯瞰画像を模擬作業機械図の左側方に配置することで、油圧ショベル周囲の俯瞰画像を作成している。
　図１９は画像作成部６００における俯瞰視点決定部２１００（俯瞰位置決定部２１３０及び俯瞰高さ決定部２１４０）で行われる処理のフローチャートである。俯瞰位置決定部２１３０は、危険度設定部２０００で危険範囲内の各障害物に危険度が設定されたら、各障害物の接触危険度の値をチェックする（Ｓ２１３１）。Ｓ２１３１において、各障害物の接触危険度が１～５以外の場合（すなわち０の場合）には、俯瞰視点の水平面位置を油圧ショベルの中心部に決定し（Ｓ２１３２）、Ｓ２１４２に進む。一方、Ｓ２１３１において各障害物の接触危険度に１～５が含まれる場合には、その中で最も接触危険度の高い障害物の水平面位置を俯瞰視点の水平面位置として決定し（Ｓ２１３３）、Ｓ２１４３に進む。
　Ｓ２１４２では、俯瞰高さ決定部２１４０が、俯瞰視点の高さは、油圧ショベルの中心部（旋回中心）の上方から油圧ショベルを見下ろしたときに危険範囲を表示できるように設定した値（設定値）に設定し、当該俯瞰視点の水平位置及び高さ位置を記憶装置に格納して処理を終了する。
　一方、Ｓ２１４３では、油圧ショベルの中心部とＳ２１３３で利用した最も接触危険度の高い障害物の基点（Ｓ５０２参照）との距離（絶対値）を算出し、その算出値に比例して俯瞰視点の高さ（例えば、障害物高さの２～３倍）を算出する（Ｓ２１４４）。Ｓ２１４４においてＳ２１４３で算出した値に乗じる比例定数は、最も接触危険度の高い障害物の上方から油圧ショベルの中心部を見下ろしたときに危険範囲を表示できるように設定すれば良い。このように俯瞰視点の高さを算出したら、Ｓ２１３３で決定した俯瞰視点の水平位置とＳ２１４４で決定した高さ位置を記憶装置に格納して処理を終了する。
　上記の処理により、接触危険度が設定されている場合には、危険度設定部２０００で設定した各障害物の接触危険度のうち、最も接触危険度の高い障害物の上方に油圧ショベル及び危険範囲を見込む俯瞰視点が設定され、また、接触危険度が設定されていない場合には、油圧ショベルの上方から油圧ショベル及び危険範囲を見込む俯瞰視点が設定される。
　図２０は俯瞰視点決定部２１００における俯瞰視点を決定する例の概念図である。この図は、人１５ｄに最も高い接触危険度が設定された場合を示し、まず、Ｓ２１３３において、人１５ｄの水平位置２１５２が俯瞰視点の水平位置として決定される。そして、Ｓ２１４３において、油圧ショベルの中心部２１５１と水平位置２１５２の差（絶対値）を算出し、その算出値に当該算出値の大きさに応じた比例定数を乗じ、俯瞰視点の高さ２１５３を決定する。これにより、監視画像作成部６２０が監視画像を作成する際の俯瞰視点（仮想カメラ）の位置を決定することができる。
　図２１は画像作成部６００における監視画像作成部６２０が作成する監視画像の第１の例を示す図である。この図に示す場面で油圧ショベルを右旋回６１２させると、これに連動してフロント作業装置１Ａも右側方向へ移動する。これにより、危険度設定部２０００において、危険範囲内９１３においてフロント作業装置１Ａの右側に存在する人１５ｃの接触危険度が最も高い値である５に設定される。そして、俯瞰視点決定部２１００は人１５ｃの上部に俯瞰視点を決定し、監視画像作成部６２０は当該俯瞰視点から仮想カメラで油圧ショベル及び危険範囲を見たときの画像を監視画像６２１として作成する。このように作成された監視画像６２１には、油圧ショベルと接触危険度が最も高い障害物が表示されることになるので、特別な判断作業を行わなくてもオペレータはどの障害物が接触の可能性が最も高いか及び当該障害物は油圧ショベルに対してどの位置に存在するかを瞬時に把握することができる。特に、このように監視画像を作成すると、油圧ショベルの動作方向（旋回方向である右側方向）を大きく表示することができ、また、当該動作方向に存在する最も危険な障害物（人１５ｃ）を大きく表示できる。したがって、本実施の形態によれば、最も危険な障害物の油圧ショベルに対する位置がオペレータに瞬時に把握されるので、油圧ショベルによる作業効率を向上させることができる。
　図２２は画像作成部６００における監視画像作成部６２０が作成する監視画像の第２の例を示す図である。この図に示す場面で下部走行体１ｅを後進６１７させると、これに連動してフロント作業装置１Ａ及び上部旋回体１ｄも後進する。これにより、危険度設定部２０００において、危険範囲内９１７において下部走行体１ｅの後方に存在する人１５ａの接触危険度が最も高い値である５に設定される。そして、俯瞰視点決定部２１００は人１５ａの上部に俯瞰視点を決定し、監視画像作成部６２０は当該俯瞰視点から油圧ショベル及び危険範囲を見たときの画像を監視画像６３１として作成する。したがって、この場合も、最も危険な障害物の油圧ショベルに対する位置がオペレータに瞬時に把握されるので、油圧ショベルによる作業効率を向上させることができる。
　図２３は画像作成部６００における監視画像作成部６２０が作成する監視画像の第３の例を示す図である。この図に示すように、監視画像作成部６２０は、どの障害物が最も危険であるかということについてのオペレータの視認性を向上させるために、危険度設定部２０００で最も高い接触危険度を設定された障害物（人１５ｃ）の上に警告表示６３１を重畳的に描画している。なお、この図の例では、警告表示として略星型の図形を人１５ｃの上に表示している。
　さらに、この図の例では、バケット１ｃの先端がどの程度の高さで障害物と接触するかという点を監視画像から容易に把握可能にするために、右旋回を続行するとバケット１ｃの先端が接触すると推定される部分に警告表示６３１を重畳的に表示している。すなわち、図２３の例では、人１５ｃの頭部に警告表示６３１が表示されている。このように接触部分に警告表示６３１を表示する際には、危険度設定部２０００で行われる処理のうちＳ２０５４，２０５５，２０７３で設定した障害物高さと、角度検出器８ａ～８ｄの出力θ１～θ４を利用して算出したバケット１ｃの先端高さとを比較すれば良い。そして、例えば、（１）障害物高さの上半分にバケット１ｃが接触する可能性があると推定される場合には当該障害物の上部（人のときは頭部）に警告表示６３１を表示し、（２）障害物高さの下半分に接触する可能性があると推定される場合には当該障害物の下部（人のときは胴体部）に警告表示６３１を表示すれば良い。図２４は、画像作成部６００における監視画像作成部６２０が作成する監視画像の第４の例を示す図であり、人１５ｃの胴体部に警告表示６３２を表示した場合の監視画像６２１を示している。
　図２５は画像作成部６００における監視画像作成部６２０が作成する監視画像の第５の例を示す図である。この図に示すように、監視画像作成部６２０は、危険度設定部２０００で最も高い接触危険度を設定された障害物の種別が人である場合には、当該最も高い接触危険度を設定された障害物（人１５ｃ）の上に人を表す画像６４５を警告画像６２１に重畳的に描画している。この図２５の例では、人を表す表示６４５として、カメラ１３の画像を俯瞰変換しないまま人１５ｃを抽出した画像（写真）を人１５ｃの上に表示している。
　俯瞰画像のみを利用して監視画像を作成すると、カメラ１３から遠い位置に存在する部分ほど拡大表示されるので、物体がゆがんで表示されることが多い（例えば、人については頭部に行くほど拡大表示される）。そのため、カメラ１３から遠くに存在する障害物については、俯瞰画像に変換する際に生じるゆがみに起因する違和感によって視認性に欠けることがある。そこで上記のように人を表す画像６４５を監視画像に重畳的に描画すると、監視画像上において、人がどこに存在するかを瞬時に把握することができる。
　なお、その際、外接矩形内の領域６４４に存在する人１５ｃの視認性をさらに向上させる観点から、カメラ１３が撮影した画像内には存在しないオペレータに視認容易な目立つ色で描画することが好ましい。さらに、先の例で示したように、警告表示として、「危険」という文字６４１及び最も接触危険度の高い障害物を示す矢印６４３等を重畳的に表示したり、略星型の図形６４２を文字６４１の近くに重畳的に表示したりして、さらに視認性を高めても良い。
　図２６は画像作成部６００における監視画像作成部６２０が作成する監視画像の第６の例を示す図である。図２５では人を表す画像としてカメラ１３の画像６４５を利用したが、この図の例では、当該人を表す画像として、人の上半身を３次元的に表現したイラスト６５５を利用している点で異なる。このように他の表現方法を利用しても、監視画像上において、人がどこに存在するかを瞬時に把握することができる。なお、図２５の例と同様に、警告表示として文字６５１、略星型の図形６５２及び矢印６５３等を重畳的に表示することでさらに視認性を高めても良い。
　図２７は本発明の実施の形態における表示装置１３００の表示画面の例を示す図である。この図に示す表示画面には、画像作成部６００で作成された警告画像が表示される主表示部１００５と、主表示部１００５に表示される警告画像を所定の時間にわたって録画するための録画開始ボタン１００１と、監視画像を拡大表示するための拡大表示ボタン１００３と、拡大表示ボタン１００３による拡大を戻す標準表示ボタン１００４を備えている。なお、この図に示す警告画像には、人を表す画像として、人の全身を３次元的に表現したイラスト６６５が表示されている。また、先の図２５，２６の例と同様に、警告表示として、「危険」という文字６６１、略星型の図形６６２及び最も接触危険度の高い障害物を示す矢印６６３等をさらに重畳的に表示している。
　このように録画開始ボタン１００１を設けると、接触可能性のある障害物（人１５ｃ）が存在する場合等、必要に応じて主表示部１００５に表示される警告画像を録画することができる。これにより、万が一事故が発生したときにその原因究明等にその録画データを用いることができる。なお、録画開始ボタン１００１を用いることなく、主表示部１００５に警告画像が表示された時に当該画像を自動的に録画するように設定しても良い。また、監視画像の拡大表示についても、拡大表示ボタン１００３を操作して手動で拡大表示しても良いし、警告画像が表示される場合に自動的に拡大表示しても良い。
１Ａ　フロント作業装置
１Ｂ　車体
１ａ　ブーム
１ｂ　アーム
１ｃ　バケット
１ｄ　上部旋回体
１ｅ　下部走行体
１ｆ　運転室
３ａ～３c　油圧アクチュエータ
３e　走行モータ
８ａ，８ｂ，８ｃ，８ｄ　角度検出器
１３ａ，１３ｂ，１３ｃ　カメラ（イメージセンサ）
１４ａ，１４ｂ，１４ｃ　ミリ波レーダ
１５ａ，１５ｂ，１５ｃ，１５ｄ，１５ｅ　障害物（人）
１６，１７　障害物（物）
３０　操作装置
４００　障害物検出部
５００　位置算出部
６００　画像作成部
６１０　俯瞰画像作成部
６２０　監視画像作成部
７００　危険範囲算出部
８００　判定部
１３００　表示装置
２０００　危険度設定部
２１００　俯瞰視点決定部
２１３０　俯瞰位置決定部
２１４０　俯瞰高さ決定部

Claims (5)

  1. 　作業機械周辺の画像を撮影する撮影手段と、
    　当該撮影した画像を利用して前記作業機械周辺の障害物の存在を検出する障害物検出手段と、
    　当該検出された障害物の作業機に対する相対位置を算出する位置算出手段と、
    　前記作業機械の姿勢及び動作のうち少なくとも１つに基づいて、前記作業機械の周囲における危険範囲を算出する危険範囲算出手段と、
    　前記算出した危険範囲内に障害物が存在するか否かを前記算出した障害物の位置に基づいて判定する判定手段と、
    　前記判定手段で前記危険範囲内に存在すると判定された障害物に対して、前記撮影された画像から得られる当該障害物の種別、位置及び高さのうち少なくとも１つに基づいて接触危険度を設定する危険度設定手段と、
    　前記撮影された画像を前記作業機械を中心とする俯瞰画像に変換し、前記危険度設定手段で最も高い接触危険度を設定された障害物の上方から当該俯瞰画像を俯瞰することで、当該俯瞰画像上における前記作業機械と前記危険範囲のすべてを含む画像を作成する画像作成手段と、
    　当該作成した画像を表示する表示手段とを備えることを特徴とする作業機械の周辺監視装置。
  2. 　請求項１に記載の作業機械の周辺監視装置において、
    　前記危険度設定手段は、さらに、前記作業機械の姿勢及び動作のうち少なくとも１つに基づいて接触危険度を設定することを特徴とする作業機械の周辺監視装置。
  3. 　請求項２に記載の作業機械の周辺監視装置において、
    　前記作業機械は、走行体と、当該走行体の上部に旋回可能に取り付けられた旋回体と、当該旋回体に取り付けられたフロント作業装置とを備え、
    　前記危険度設定手段は、さらに、同じ種別の障害物の中で、前記旋回方向において前記フロント作業装置に最も近い位置に存在する障害物に最も高い接触危険度を設定することを特徴とする作業機械の周辺監視装置。
  4. 　請求項１～３のいずれかに記載の作業機械の周辺監視装置において、
    　前記画像作成手段は、前記作成した画像において、前記危険度設定手段で最も高い接触危険度を設定された前記障害物の上に警告表示を重畳的に描画することを特徴とする作業機械の周辺監視装置。
  5. 　請求項１～３のいずれかに記載の作業機械の周辺監視装置において、
    　前記画像作成手段は、前記危険度設定手段で最も高い接触危険度を設定された前記障害物の種別が人である場合には、前記作成した画像において、当該障害物の上に人を示す画像を重畳的に描画することを特徴とする作業機械の周辺監視装置。
PCT/JP2010/068718 2010-10-22 2010-10-22 作業機械の周辺監視装置 WO2012053105A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US13/880,490 US9113047B2 (en) 2010-10-22 2010-10-22 Peripheral monitoring device for working machine
JP2012539546A JP5667638B2 (ja) 2010-10-22 2010-10-22 作業機械の周辺監視装置
PCT/JP2010/068718 WO2012053105A1 (ja) 2010-10-22 2010-10-22 作業機械の周辺監視装置
CN201080069736.4A CN103180522B (zh) 2010-10-22 2010-10-22 作业机械的周边监视装置
EP10858659.5A EP2631374B1 (en) 2010-10-22 2010-10-22 Work machine peripheral monitoring device
KR1020137009804A KR101751405B1 (ko) 2010-10-22 2010-10-22 작업 기계의 주변 감시 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/068718 WO2012053105A1 (ja) 2010-10-22 2010-10-22 作業機械の周辺監視装置

Publications (1)

Publication Number Publication Date
WO2012053105A1 true WO2012053105A1 (ja) 2012-04-26

Family

ID=45974838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/068718 WO2012053105A1 (ja) 2010-10-22 2010-10-22 作業機械の周辺監視装置

Country Status (6)

Country Link
US (1) US9113047B2 (ja)
EP (1) EP2631374B1 (ja)
JP (1) JP5667638B2 (ja)
KR (1) KR101751405B1 (ja)
CN (1) CN103180522B (ja)
WO (1) WO2012053105A1 (ja)

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014045466A1 (ja) * 2012-09-20 2014-03-27 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
WO2014121810A1 (de) * 2013-02-06 2014-08-14 Volvo Construction Equipment Germany GmbH Baumaschine mit einer überwachungseinrichtung
WO2014123228A1 (ja) * 2013-02-08 2014-08-14 日立建機株式会社 旋回式作業機械の周囲監視装置
JP2014183498A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2014215039A (ja) * 2013-04-22 2014-11-17 日立建機株式会社 建設機械
JP2014225803A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置
JP2015154240A (ja) * 2014-02-14 2015-08-24 国立大学法人 東京大学 建設機械用俯瞰画像表示装置
CN104884711A (zh) * 2012-12-21 2015-09-02 住友建机株式会社 挖掘机以及挖掘机的控制方法
US20160024758A1 (en) * 2013-08-26 2016-01-28 Hitachi Construction Machinery Co., Ltd. Device for monitoring around working machine
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
JP2016219864A (ja) * 2015-05-14 2016-12-22 日立建機株式会社 作業車両の周囲監視装置
WO2018008542A1 (ja) * 2016-07-05 2018-01-11 住友建機株式会社 ショベル
JP2018085685A (ja) * 2016-11-25 2018-05-31 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018093501A (ja) * 2018-01-04 2018-06-14 住友重機械工業株式会社 作業機械
JP2018170557A (ja) * 2017-03-29 2018-11-01 日立建機株式会社 作業機械の周囲画像表示装置
JP2018172943A (ja) * 2017-03-31 2018-11-08 コベルコ建機株式会社 干渉監視装置
JP2019004484A (ja) * 2018-08-07 2019-01-10 住友建機株式会社 ショベル
JP2019019523A (ja) * 2017-07-14 2019-02-07 コベルコ建機株式会社 建設機械
JP2019071677A (ja) * 2019-01-28 2019-05-09 住友重機械工業株式会社 ショベル
JP2019085870A (ja) * 2018-12-26 2019-06-06 住友建機株式会社 ショベル及びショベル用周辺監視装置
WO2019111859A1 (ja) * 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
WO2019168122A1 (ja) * 2018-02-28 2019-09-06 住友建機株式会社 ショベル
WO2019176036A1 (ja) * 2018-03-14 2019-09-19 日立建機株式会社 作業機械
WO2019189399A1 (ja) * 2018-03-30 2019-10-03 住友建機株式会社 ショベル
JP2020007867A (ja) * 2018-07-12 2020-01-16 コベルコ建機株式会社 旋回式作業機械の安全装置
JP2020012323A (ja) * 2018-07-19 2020-01-23 日立建機株式会社 作業機械
JP2020051092A (ja) * 2018-09-26 2020-04-02 コベルコ建機株式会社 作業機械情報表示システム
JP2020051156A (ja) * 2018-09-27 2020-04-02 日立建機株式会社 作業機械
WO2020080264A1 (ja) 2018-10-15 2020-04-23 日立建機株式会社 油圧ショベル
JP2020115674A (ja) * 2020-04-07 2020-07-30 住友建機株式会社 ショベル
JP2020127217A (ja) * 2018-08-07 2020-08-20 住友建機株式会社 ショベル
JP2020148087A (ja) * 2020-04-28 2020-09-17 住友重機械工業株式会社 ショベル及びショベル用のシステム
WO2020218308A1 (ja) * 2019-04-26 2020-10-29 日立建機株式会社 作業機械
JP2020188474A (ja) * 2019-01-28 2020-11-19 住友重機械工業株式会社 ショベル
JP2021011814A (ja) * 2016-09-02 2021-02-04 株式会社小松製作所 作業機械の画像表示システム
JP2021081575A (ja) * 2019-11-19 2021-05-27 ルネサスエレクトロニクス株式会社 画像処理装置及び画像処理方法
US11218480B2 (en) 2015-09-21 2022-01-04 Payfone, Inc. Authenticator centralization and protection based on authenticator type and authentication policy
US11223948B2 (en) 2015-04-15 2022-01-11 Payfone, Inc. Anonymous authentication and remote wireless token access
WO2022097570A1 (ja) * 2020-11-09 2022-05-12 日本電気株式会社 制御装置、制御システム、及び制御方法
US11634890B2 (en) 2016-09-02 2023-04-25 Komatsu Ltd. Image display system for work machine

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230419B2 (en) * 2010-07-27 2016-01-05 Rite-Hite Holding Corporation Methods and apparatus to detect and warn proximate entities of interest
US20140293047A1 (en) * 2013-04-02 2014-10-02 Caterpillar Inc. System for generating overhead view of machine
US10541875B2 (en) * 2013-12-11 2020-01-21 Komatsu Ltd. Work machine, management system and management method
JP6267972B2 (ja) * 2014-01-23 2018-01-24 日立建機株式会社 作業機械の周囲監視装置
JP6095592B2 (ja) * 2014-02-17 2017-03-15 日立建機株式会社 油圧ショベルの監視画像表示装置
JP6962667B2 (ja) * 2014-03-27 2021-11-05 住友建機株式会社 ショベル及びその制御方法
US10228232B2 (en) * 2014-04-14 2019-03-12 Caterpillar Inc. Operator assistance system
JP6262068B2 (ja) * 2014-04-25 2018-01-17 日立建機株式会社 車体近傍障害物報知システム
DE102014107235A1 (de) * 2014-05-22 2015-11-26 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeigevorrichtung; eine Anzeigevorrichtung; ein System aus einer Mehrzahl an Bilderfassungseinheiten und einer Anzeigevorrichtung; ein Computerprogramm
WO2015186570A1 (ja) * 2014-06-03 2015-12-10 住友重機械工業株式会社 建設機械用人物検知システム
EP3154025B1 (en) * 2014-06-03 2021-10-13 Sumitomo Heavy Industries, Ltd. Human detection system for construction machine
KR102190891B1 (ko) * 2014-09-22 2020-12-14 에스엘 주식회사 차량의 주변 감시 장치 및 방법
EP3021178B1 (en) * 2014-11-14 2020-02-19 Caterpillar Inc. System using radar apparatus for assisting a user of a machine of a kind comprising a body and an implement
EP3020868B1 (en) * 2014-11-14 2020-11-04 Caterpillar Inc. Machine of a kind comprising a body and an implement movable relative to the body with a system for assisting a user of the machine
EP3168373B1 (en) * 2014-11-14 2019-07-10 Caterpillar Inc. A machine with a system for improving safety
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
EP3035134A1 (en) * 2014-12-15 2016-06-22 Siemens Aktiengesellschaft Dynamic virtual fencing for a hazardous environment
DE102015002692A1 (de) * 2015-03-04 2016-09-08 Dynapac Gmbh Straßenbaumaschine und Verfahren zum Betreiben einer selbstfahrenden Straßenbaumaschine
JP6777375B2 (ja) * 2015-03-05 2020-10-28 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械
KR102426631B1 (ko) * 2015-03-16 2022-07-28 현대두산인프라코어 주식회사 건설 기계의 사각 영역 표시 방법 및 이를 수행하기 위한 장치
WO2016157462A1 (ja) * 2015-03-31 2016-10-06 株式会社小松製作所 作業機械の周辺監視装置
KR101683677B1 (ko) * 2015-07-10 2016-12-20 엘아이지넥스원 주식회사 차량의 어라운드 뷰 제어 장치 및 방법
CN113463721A (zh) * 2015-08-26 2021-10-01 住友建机株式会社 挖土机、挖土机的测量装置及管理装置
DE112015001236B4 (de) * 2015-09-30 2021-02-04 Komatsu Ltd. Vorrichtung zum Überwachen der Umgebung einer Raupenketten-Arbeitsmaschine
JP6925775B2 (ja) * 2015-10-05 2021-08-25 株式会社小松製作所 施工管理システム
DE102015221340B4 (de) * 2015-10-30 2021-02-25 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugumgebungsansicht für ein Fahrzeug
US9787951B2 (en) * 2015-12-18 2017-10-10 Serge Kannon Vehicle proximity warning system
CN108431337A (zh) * 2015-12-28 2018-08-21 住友建机株式会社 铲土机
JP6572156B2 (ja) * 2016-03-02 2019-09-04 株式会社神戸製鋼所 建設機械の干渉防止装置
JP6259116B2 (ja) * 2016-03-29 2018-01-10 株式会社小松製作所 作業車両
US10864856B2 (en) * 2016-04-14 2020-12-15 Nissan Motor Co., Ltd. Mobile body surroundings display method and mobile body surroundings display apparatus
CN106193144A (zh) * 2016-07-01 2016-12-07 蔡雄 一种具备道路检测功能的装载车
AU2017204001B2 (en) * 2016-07-06 2022-06-09 Caterpillar Inc. Operator assistance system
CN108349554B (zh) * 2016-07-20 2022-06-17 普瑞诺斯有限公司 具有可旋转上部结构的履带式车辆及其方法
KR101991153B1 (ko) * 2016-08-02 2019-06-19 김필주 건설장비의 협착 방지 장치
AU2016216541B2 (en) 2016-08-15 2018-08-16 Bucher Municipal Pty Ltd Refuse collection vehicle and system therefor
WO2018043299A1 (ja) * 2016-08-31 2018-03-08 株式会社小松製作所 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法
JP2018036937A (ja) * 2016-09-01 2018-03-08 住友電気工業株式会社 画像処理装置、画像処理システム、画像処理プログラムおよびラベル
US10106951B2 (en) * 2016-09-21 2018-10-23 Deere & Company System and method for automatic dump control
JP6608345B2 (ja) * 2016-09-28 2019-11-20 日立建機株式会社 作業機械
EP3553234A4 (en) * 2016-12-06 2020-03-18 Sumitomo (S.H.I.) Construction Machinery Co., Ltd. CONSTRUCTION MACHINE
EP3385458B1 (en) * 2017-02-09 2023-03-29 Komatsu Ltd. Work vehicle and display device
CN110114244B (zh) * 2017-02-17 2023-07-04 住友重机械工业株式会社 工作机械用周边监视系统
JP6805883B2 (ja) * 2017-02-28 2020-12-23 コベルコ建機株式会社 建設機械
WO2018167966A1 (ja) * 2017-03-17 2018-09-20 マクセル株式会社 Ａｒ表示装置及びａｒ表示方法
JP6760163B2 (ja) * 2017-03-22 2020-09-23 コベルコ建機株式会社 建設機械
DE102017106893B4 (de) * 2017-03-30 2020-07-30 Komatsu Ltd. Arbeitsfahrzeug
JP6581139B2 (ja) * 2017-03-31 2019-09-25 日立建機株式会社 作業機械の周囲監視装置
JP6819462B2 (ja) * 2017-05-30 2021-01-27 コベルコ建機株式会社 作業機械
JP6960802B2 (ja) * 2017-08-24 2021-11-05 日立建機株式会社 作業機械の周囲監視装置
JP7104050B2 (ja) 2017-09-01 2022-07-20 株式会社小松製作所 作業機械の計測システム、作業機械、及び作業機械の計測方法
CN109790702B (zh) * 2017-09-07 2021-07-06 日立建机株式会社 工程机械
JP6927821B2 (ja) * 2017-09-15 2021-09-01 株式会社小松製作所 表示システム、及び表示装置
US10647282B2 (en) 2017-11-06 2020-05-12 Magna Electronics Inc. Vehicle vision system with undercarriage cameras
EP3499405A1 (en) * 2017-12-13 2019-06-19 My Virtual Reality Software AS Method and device for augmenting a person's view of a mining vehicle on a mining worksite in real-time
JP7039983B2 (ja) * 2017-12-13 2022-03-23 コベルコ建機株式会社 建設機械用の注意喚起装置
KR102023270B1 (ko) * 2018-02-07 2019-09-20 중앙대학교 산학협력단 건설 장비의 실시간 안전 모니터링 장치 및 방법
JP7232437B2 (ja) * 2018-02-19 2023-03-03 国立大学法人 東京大学 作業車両の表示システム及び生成方法
CN111919000A (zh) * 2018-03-26 2020-11-10 住友建机株式会社 挖土机
GB2586712B (en) * 2018-03-28 2021-12-22 Mitsubishi Electric Corp Image processing device, image processing method, and image processing program
JP7070047B2 (ja) * 2018-04-26 2022-05-18 コベルコ建機株式会社 旋回式作業機械の旋回制御装置
CN112041508A (zh) * 2018-04-30 2020-12-04 沃尔沃建筑设备公司 用于在工程机械中选择性地显示图像数据的系统和方法
CN108608980A (zh) * 2018-06-05 2018-10-02 徐工集团工程机械有限公司 工程车辆及其控制方法
JP7080750B2 (ja) * 2018-06-29 2022-06-06 株式会社小松製作所 表示制御システム、遠隔操作システム、表示制御装置、および表示制御方法
JP7285051B2 (ja) * 2018-06-29 2023-06-01 株式会社小松製作所 表示制御装置、および表示制御方法
FI129250B (en) * 2018-07-12 2021-10-15 Novatron Oy Control system for controlling the machine tool
CN112218988B (zh) * 2018-07-31 2023-06-09 住友建机株式会社 挖土机
JP7286287B2 (ja) 2018-09-14 2023-06-05 株式会社小松製作所 作業機械の表示システムおよびその制御方法
DE102018220395A1 (de) * 2018-11-28 2020-05-28 Zf Friedrichshafen Ag Drehrichtungsabhängige Steuerung einer Sensoranordnung zur Überwachung eines Arbeitsbereichs einer Arbeitsmaschine
CN109403946B (zh) * 2018-12-27 2022-07-29 北京三一智造科技有限公司 旋挖钻机回转动画显示的方法、装置及旋挖钻机
CN113544338B (zh) * 2019-03-28 2023-02-17 住友建机株式会社 挖土机及施工系统
CN113631779B (zh) * 2019-03-30 2024-06-18 住友建机株式会社 挖土机及施工系统
KR102677528B1 (ko) 2019-04-05 2024-06-21 볼보 컨스트럭션 이큅먼트 에이비 건설기계
FR3095392B1 (fr) * 2019-04-24 2021-04-16 Option Automatismes Système anti-collision pour engin de chantier, et engin de chantier équipé d’un tel système anti-collision
JP7511547B2 (ja) * 2019-04-26 2024-07-05 住友建機株式会社 表示装置、ショベル、情報処理装置
KR102625693B1 (ko) * 2019-05-20 2024-01-17 에이치디현대건설기계 주식회사 건설장비의 장애물 충돌방지시스템
KR102018119B1 (ko) * 2019-05-30 2019-09-04 최중경 고철처리장에서의 안전사고예방방법
CN113316501B (zh) * 2019-05-31 2022-02-18 乐恩吉室株式会社 以危险度判断为基础的机器人移动控制方法及利用其的移动机器人装置
CN114026295A (zh) * 2019-07-18 2022-02-08 株式会社小松制作所 作业车辆的显示系统以及作业车辆的显示方法
US11970839B2 (en) 2019-09-05 2024-04-30 Deere & Company Excavator with improved movement sensing
US11821167B2 (en) 2019-09-05 2023-11-21 Deere & Company Excavator with improved movement sensing
JP7483737B2 (ja) * 2019-09-30 2024-05-15 株式会社小松製作所 作業機械および作業機械の制御方法
KR102750652B1 (ko) * 2019-10-22 2025-01-09 에이치디현대건설기계 주식회사 건설장비의 장애물 충돌방지시스템
US11320830B2 (en) 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
JP7217691B2 (ja) * 2019-10-31 2023-02-03 日立建機株式会社 建設機械
JP7153627B2 (ja) * 2019-10-31 2022-10-14 日立建機株式会社 作業機械および周囲監視システム
JP7255454B2 (ja) * 2019-11-07 2023-04-11 コベルコ建機株式会社 作業機械の周囲監視装置
JP7341396B2 (ja) * 2019-12-03 2023-09-11 コベルコ建機株式会社 遠隔操作支援サーバおよび遠隔操作支援システム
JP7400425B2 (ja) * 2019-12-10 2023-12-19 コベルコ建機株式会社 作業機械の遠隔操作支援システム
CN114423904B (zh) * 2019-12-27 2024-04-02 日立建机株式会社 工程机械
US11693411B2 (en) 2020-02-27 2023-07-04 Deere & Company Machine dump body control using object detection
EP4130398A4 (en) * 2020-03-25 2023-08-30 Sumitomo Heavy Industries, Ltd. CONSTRUCTION MACHINE, CONSTRUCTION MACHINE MANAGEMENT SYSTEM, MACHINE LEARNING DEVICE AND CONSTRUCTION MACHINE WORK SITE MANAGEMENT SYSTEM
CN115298632A (zh) * 2020-03-27 2022-11-04 日立建机株式会社 作业机械
WO2021205430A1 (en) * 2020-04-06 2021-10-14 Adam Cogtech Ltd. Generation and presentation of stimuli
US11891782B2 (en) * 2020-04-30 2024-02-06 Deere & Company Ground engaging tool control system and method
CN111595255A (zh) * 2020-05-14 2020-08-28 南京航空航天大学 一种隧道缺陷实时提示装置及提示方法
DE102020206373A1 (de) 2020-05-20 2021-11-25 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Kollisionsvermeidung eines Arbeitswerkzeugs einer Arbeitsmaschine mit in einer Umgebung der Arbeitsmaschine befindlichen Hindernissen
US11773567B2 (en) 2020-07-22 2023-10-03 Baidu Usa Llc Engineering machinery equipment, and method, system, and storage medium for safety control thereof
EP4194622A4 (en) * 2020-08-05 2024-09-25 Hitachi Construction Machinery Co., Ltd. CONTROL SYSTEM FOR CONSTRUCTION MACHINERY
KR20230035397A (ko) * 2020-09-02 2023-03-13 가부시키가이샤 고마쓰 세이사쿠쇼 작업 기계의 장애물 통지 시스템 및 작업 기계의 장애물 통지 방법
US20220138478A1 (en) * 2020-11-03 2022-05-05 Joy Global Surface Mining Inc Self mining machine system with automated camera control for obstacle tracking
CN114445989A (zh) * 2020-11-06 2022-05-06 湖南五新模板有限公司 一种栈桥安全防护系统、方法及栈桥
DE102020214291B3 (de) * 2020-11-13 2022-03-17 Tadano Faun Gmbh Kran, insbesondere Mobilkran
KR102575009B1 (ko) * 2020-12-22 2023-09-07 (주)다울 지게차의 스마트 안전 관리 시스템 및 방법
CN113012315B (zh) * 2021-02-23 2022-07-05 浙江三一装备有限公司 作业机械安全监控系统、方法及作业机械
CN117083433A (zh) * 2021-03-22 2023-11-17 住友建机株式会社 施工机械及施工机械用支援装置
US11840823B2 (en) 2021-03-30 2023-12-12 Darrell Cobb Backhoe camera assembly
JP2022155631A (ja) * 2021-03-31 2022-10-14 住友重機械建機クレーン株式会社 作業機械の周囲監視装置
US12180686B2 (en) * 2022-04-21 2024-12-31 Deere & Company Work vehicle having enhanced visibility throughout implement movement
US20230339402A1 (en) * 2022-04-21 2023-10-26 Deere & Company Selectively utilizing multiple imaging devices to maintain a view of an area of interest proximate a work vehicle
KR102669381B1 (ko) * 2022-05-16 2024-05-29 현대엠시스템즈 주식회사 건설장비 주변 감시 레이더 및 방법
CN115047453A (zh) * 2022-06-21 2022-09-13 无锡威孚高科技集团股份有限公司 基于毫米波雷达的大型机械视野盲区监测方法
US20240011244A1 (en) * 2022-07-05 2024-01-11 Caterpillar Inc. Systems and methods for collision avoidance for shape changing machines
KR20240056262A (ko) * 2022-10-21 2024-04-30 에이치디현대인프라코어 주식회사 건설기계의 제어 시스템 및 방법
CN115761589A (zh) * 2022-11-23 2023-03-07 浙大城市学院 一种用于工程机械的环境感知方法及系统
GB2626379B (en) * 2023-01-23 2025-02-19 Bamford Excavators Ltd A Working Machine

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679848B2 (ja) * 1995-12-27 2005-08-03 日立建機株式会社 建設機械の作業範囲制限制御装置
US6643576B1 (en) * 2000-11-15 2003-11-04 Integrinautics Corporation Rapid adjustment of trajectories for land vehicles
JP2004343297A (ja) * 2003-05-14 2004-12-02 Hitachi Constr Mach Co Ltd 建設機械の周囲監視装置
DE102006042547A1 (de) * 2006-09-11 2008-03-27 Bartec Gmbh System zum Überwachen eines Gefahrenbereiches, insbesondere eines Fahrzeugs
JP4996928B2 (ja) * 2007-01-05 2012-08-08 日立建機株式会社 作業機械の周囲監視装置
CN101070706A (zh) * 2007-05-29 2007-11-14 三一重机有限公司 一种液压挖掘机避障控制系统和方法
JP2009013633A (ja) * 2007-07-03 2009-01-22 Hitachi Constr Mach Co Ltd 建設機械の安全装置
JP5064976B2 (ja) 2007-11-12 2012-10-31 クラリオン株式会社 建設・土木作業車両の作業安全監視システム
JP4977667B2 (ja) * 2008-09-02 2012-07-18 日立建機株式会社 作業機械の視野補助装置
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP5165631B2 (ja) * 2009-04-14 2013-03-21 現代自動車株式会社 車両周囲画像表示システム
US20110001819A1 (en) * 2009-07-02 2011-01-06 Sanyo Electric Co., Ltd. Image Processing Apparatus
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5397697B2 (ja) * 2010-03-12 2014-01-22 アイシン精機株式会社 画像制御装置
AU2011266010B2 (en) * 2010-06-18 2015-01-29 Hitachi Construction Machinery Co., Ltd. Surrounding area monitoring device for monitoring area around work machine

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008248613A (ja) * 2007-03-30 2008-10-16 Hitachi Constr Mach Co Ltd 作業機械周辺監視装置
JP2010198519A (ja) * 2009-02-27 2010-09-09 Hitachi Constr Mach Co Ltd 周囲監視装置

Cited By (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9115482B2 (en) 2012-03-29 2015-08-25 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
US8768583B2 (en) 2012-03-29 2014-07-01 Harnischfeger Technologies, Inc. Collision detection and mitigation systems and methods for a shovel
US9598836B2 (en) 2012-03-29 2017-03-21 Harnischfeger Technologies, Inc. Overhead view system for a shovel
JP2014064144A (ja) * 2012-09-20 2014-04-10 Komatsu Ltd 作業車両用周辺監視システム及び作業車両
WO2014045466A1 (ja) * 2012-09-20 2014-03-27 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
US9333915B2 (en) 2012-09-20 2016-05-10 Komatsu Ltd. Work vehicle periphery monitoring system and work vehicle
CN104884711A (zh) * 2012-12-21 2015-09-02 住友建机株式会社 挖掘机以及挖掘机的控制方法
CN104884711B (zh) * 2012-12-21 2019-01-15 住友建机株式会社 挖掘机以及挖掘机的控制方法
KR102073059B1 (ko) 2013-02-06 2020-02-04 볼보 컨스트럭션 이큅먼트 게르마니 게엠바하 모니터링 장치를 구비한 건설기계
US10458098B2 (en) 2013-02-06 2019-10-29 Volvo Construction Equiptment Germany GmbH Construction machine having a monitoring device
CN105143559B (zh) * 2013-02-06 2017-07-28 德国沃尔沃建筑设备公司 具有监测装置的建筑机械
WO2014121810A1 (de) * 2013-02-06 2014-08-14 Volvo Construction Equipment Germany GmbH Baumaschine mit einer überwachungseinrichtung
CN105143559A (zh) * 2013-02-06 2015-12-09 德国沃尔沃建筑设备公司 具有监测装置的建筑机械
KR20150139499A (ko) * 2013-02-06 2015-12-11 볼보 컨스트럭션 이큅먼트 게르마니 게엠바하 모니터링 장치를 구비한 건설기계
WO2014123228A1 (ja) * 2013-02-08 2014-08-14 日立建機株式会社 旋回式作業機械の周囲監視装置
US10506179B2 (en) 2013-02-08 2019-12-10 Hitachi Construction Machinery Co., Ltd. Surrounding monitoring device for slewing-type work machine
EP2955914A4 (en) * 2013-02-08 2016-09-21 Hitachi Construction Machinery ENVIRONMENT MONITORING DEVICE FOR AN EYE-TYPE CONSTRUCTION MACHINE
JPWO2014123228A1 (ja) * 2013-02-08 2017-02-02 日立建機株式会社 旋回式作業機械の周囲監視装置
CN104969544A (zh) * 2013-02-08 2015-10-07 日立建机株式会社 回转式作业机械的周围监视装置
CN104969544B (zh) * 2013-02-08 2018-02-27 日立建机株式会社 回转式作业机械的周围监视装置
JP2014183498A (ja) * 2013-03-19 2014-09-29 Sumitomo Heavy Ind Ltd 作業機械用周辺監視装置
JP2014215039A (ja) * 2013-04-22 2014-11-17 日立建機株式会社 建設機械
JP2014225803A (ja) * 2013-05-16 2014-12-04 住友建機株式会社 作業機械用周辺監視装置
US20160024758A1 (en) * 2013-08-26 2016-01-28 Hitachi Construction Machinery Co., Ltd. Device for monitoring around working machine
JP2015154240A (ja) * 2014-02-14 2015-08-24 国立大学法人 東京大学 建設機械用俯瞰画像表示装置
JP2016089388A (ja) * 2014-10-30 2016-05-23 日立建機株式会社 作業支援画像生成装置、及びそれを備えた作業機械の遠隔操縦システム
US11223948B2 (en) 2015-04-15 2022-01-11 Payfone, Inc. Anonymous authentication and remote wireless token access
JP2016219864A (ja) * 2015-05-14 2016-12-22 日立建機株式会社 作業車両の周囲監視装置
US11218480B2 (en) 2015-09-21 2022-01-04 Payfone, Inc. Authenticator centralization and protection based on authenticator type and authentication policy
US11991175B2 (en) 2015-09-21 2024-05-21 Payfone, Inc. User authentication based on device identifier further identifying software agent
US10920403B2 (en) 2016-07-05 2021-02-16 Sumitomo(S.H.I.) Construction Machinery Co., Ltd. Shovel
WO2018008542A1 (ja) * 2016-07-05 2018-01-11 住友建機株式会社 ショベル
JPWO2018008542A1 (ja) * 2016-07-05 2019-04-18 住友建機株式会社 ショベル
US11634890B2 (en) 2016-09-02 2023-04-25 Komatsu Ltd. Image display system for work machine
JP2021011814A (ja) * 2016-09-02 2021-02-04 株式会社小松製作所 作業機械の画像表示システム
WO2018096792A1 (ja) * 2016-11-25 2018-05-31 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018085685A (ja) * 2016-11-25 2018-05-31 株式会社Ｊｖｃケンウッド 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム
JP2018170557A (ja) * 2017-03-29 2018-11-01 日立建機株式会社 作業機械の周囲画像表示装置
JP2018172943A (ja) * 2017-03-31 2018-11-08 コベルコ建機株式会社 干渉監視装置
JP2019019523A (ja) * 2017-07-14 2019-02-07 コベルコ建機株式会社 建設機械
JP2023083299A (ja) * 2017-12-04 2023-06-15 住友重機械工業株式会社 周辺監視装置
JP7252137B2 (ja) 2017-12-04 2023-04-04 住友重機械工業株式会社 周辺監視装置
WO2019111859A1 (ja) * 2017-12-04 2019-06-13 住友重機械工業株式会社 周辺監視装置、情報処理端末、情報処理装置、情報処理プログラム
KR20200090761A (ko) * 2017-12-04 2020-07-29 스미도모쥬기가이고교 가부시키가이샤 주변감시장치, 정보처리단말, 정보처리장치, 정보처리프로그램
JPWO2019111859A1 (ja) * 2017-12-04 2020-12-24 住友重機械工業株式会社 周辺監視装置
US11365527B2 (en) 2017-12-04 2022-06-21 Sumitomo Heavy Industries, Ltd. Surroundings monitoring apparatus, information processing terminal, information processing apparatus, and recording medium
KR102627093B1 (ko) 2017-12-04 2024-01-18 스미도모쥬기가이고교 가부시키가이샤 주변감시장치
JP2018093501A (ja) * 2018-01-04 2018-06-14 住友重機械工業株式会社 作業機械
KR20200124238A (ko) * 2018-02-28 2020-11-02 스미토모 겐키 가부시키가이샤 쇼벨
KR102615983B1 (ko) 2018-02-28 2023-12-19 스미토모 겐키 가부시키가이샤 쇼벨
WO2019168122A1 (ja) * 2018-02-28 2019-09-06 住友建機株式会社 ショベル
JPWO2019168122A1 (ja) * 2018-02-28 2021-03-04 住友建機株式会社 ショベル
WO2019176036A1 (ja) * 2018-03-14 2019-09-19 日立建機株式会社 作業機械
US11225777B2 (en) 2018-03-14 2022-01-18 Hitachi Construction Machinery Co., Ltd. Work machine
JPWO2019176036A1 (ja) * 2018-03-14 2020-04-16 日立建機株式会社 作業機械
CN111601935A (zh) * 2018-03-30 2020-08-28 住友建机株式会社 挖土机
WO2019189399A1 (ja) * 2018-03-30 2019-10-03 住友建機株式会社 ショベル
JPWO2019189399A1 (ja) * 2018-03-30 2021-04-15 住友建機株式会社 ショベル
US11987180B2 (en) 2018-03-30 2024-05-21 Sumitomo Construction Machinery Co., Ltd. Shovel
JP7091896B2 (ja) 2018-07-12 2022-06-28 コベルコ建機株式会社 旋回式作業機械の安全装置
US11946228B2 (en) 2018-07-12 2024-04-02 Kobelco Construction Machinery Co., Ltd. Safety device for revolving-type work machine
WO2020012911A1 (ja) * 2018-07-12 2020-01-16 コベルコ建機株式会社 旋回式作業機械の安全装置
JP2020007867A (ja) * 2018-07-12 2020-01-16 コベルコ建機株式会社 旋回式作業機械の安全装置
JP2020012323A (ja) * 2018-07-19 2020-01-23 日立建機株式会社 作業機械
JP7058569B2 (ja) 2018-07-19 2022-04-22 日立建機株式会社 作業機械
JP2019004484A (ja) * 2018-08-07 2019-01-10 住友建機株式会社 ショベル
JP2020127217A (ja) * 2018-08-07 2020-08-20 住友建機株式会社 ショベル
JP2020051092A (ja) * 2018-09-26 2020-04-02 コベルコ建機株式会社 作業機械情報表示システム
WO2020066475A1 (ja) * 2018-09-26 2020-04-02 コベルコ建機株式会社 作業機械情報表示システム
JP7058582B2 (ja) 2018-09-27 2022-04-22 日立建機株式会社 作業機械
JP2020051156A (ja) * 2018-09-27 2020-04-02 日立建機株式会社 作業機械
WO2020080264A1 (ja) 2018-10-15 2020-04-23 日立建機株式会社 油圧ショベル
KR20210031744A (ko) 2018-10-15 2021-03-22 히다치 겡키 가부시키 가이샤 유압 셔블
US12000115B2 (en) 2018-10-15 2024-06-04 Hitachi Construction Machinery Co., Ltd. Hydraulic excavator
EP3839152A4 (en) * 2018-10-15 2022-06-22 Hitachi Construction Machinery Co., Ltd. Hydraulic shovel
JP7130547B2 (ja) 2018-12-26 2022-09-05 住友建機株式会社 ショベル及びショベル用周辺監視装置
JP2019085870A (ja) * 2018-12-26 2019-06-06 住友建機株式会社 ショベル及びショベル用周辺監視装置
JP2019071677A (ja) * 2019-01-28 2019-05-09 住友重機械工業株式会社 ショベル
JP7454461B2 (ja) 2019-01-28 2024-03-22 住友重機械工業株式会社 ショベル
JP2020188474A (ja) * 2019-01-28 2020-11-19 住友重機械工業株式会社 ショベル
US12037775B2 (en) 2019-04-26 2024-07-16 Hitachi Construction Machinery Co., Ltd. Work machine
WO2020218308A1 (ja) * 2019-04-26 2020-10-29 日立建機株式会社 作業機械
JP2021081575A (ja) * 2019-11-19 2021-05-27 ルネサスエレクトロニクス株式会社 画像処理装置及び画像処理方法
US11718229B2 (en) 2019-11-19 2023-08-08 Renesas Electronics Corporation Image processing device and image processing method
JP7325308B2 (ja) 2019-11-19 2023-08-14 ルネサスエレクトロニクス株式会社 画像処理装置及び画像処理方法
JP2020115674A (ja) * 2020-04-07 2020-07-30 住友建機株式会社 ショベル
JP7237882B2 (ja) 2020-04-07 2023-03-13 住友建機株式会社 ショベル
JP2020148087A (ja) * 2020-04-28 2020-09-17 住友重機械工業株式会社 ショベル及びショベル用のシステム
WO2022097570A1 (ja) * 2020-11-09 2022-05-12 日本電気株式会社 制御装置、制御システム、及び制御方法
JP7575153B2 (ja) 2020-11-09 2024-10-29 日本電気株式会社 制御装置、制御システム、及び制御方法

Also Published As

Publication number Publication date
KR20140009148A (ko) 2014-01-22
US9113047B2 (en) 2015-08-18
KR101751405B1 (ko) 2017-06-27
CN103180522A (zh) 2013-06-26
EP2631374A4 (en) 2016-01-20
US20130222573A1 (en) 2013-08-29
CN103180522B (zh) 2016-01-13
EP2631374B1 (en) 2020-09-30
JPWO2012053105A1 (ja) 2014-02-24
EP2631374A1 (en) 2013-08-28
JP5667638B2 (ja) 2015-02-12

Similar Documents

Publication Publication Date Title
JP5667638B2 (ja) 作業機械の周辺監視装置
JP5227841B2 (ja) 周囲監視装置
EP2481637B1 (en) Parking Assistance System and Method
US10544567B2 (en) Method and system for monitoring a rotatable implement of a machine
EP3235773B1 (en) Surrounding information-obtaining device for working vehicle
JP4951639B2 (ja) 周囲監視装置を備えた作業機械
KR101123738B1 (ko) 중장비 동작 안전 모니터링 시스템 및 방법
KR101670847B1 (ko) 차량 주변 이미지 생성 장치 및 방법
EP2808455B1 (en) Operational stability enhancing device for construction machinery
JP6572156B2 (ja) 建設機械の干渉防止装置
JP3894322B2 (ja) 車両用視界モニタシステム
KR101859229B1 (ko) 건설기계의 작업 가이드 정보 표시 장치 및 방법
KR20160060736A (ko) 차량의 주변을 표시하는 운전자 보조 시스템
US20160301864A1 (en) Imaging processing system for generating a surround-view image
JP6559464B2 (ja) 作業車両の周囲監視装置
US20160301863A1 (en) Image processing system for generating a surround-view image
JP6878025B2 (ja) 作業機械用周辺監視システム
JP6917167B2 (ja) 建設機械用俯瞰画像表示装置
JP6368503B2 (ja) 障害物監視システム及びプログラム
JP2023083245A (ja) 画像表示システム、遠隔操作支援システムおよび画像表示方法
JP7145137B2 (ja) 作業機械の制御装置
WO2023091383A1 (en) Collision avoidance system and method for avoiding collision of work machine with obstacles
US20220356680A1 (en) Operation area presentation device and operation area presentation method
US20220389682A1 (en) Overturning-risk presentation device and overturning-risk presentation method
CN119011783A (zh) 一种挖掘机安全操作预警系统、方法及挖掘机

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10858659

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012539546

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20137009804

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010858659

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13880490

Country of ref document: US