[go: up one dir, main page]

WO2015145725A1 - 情報提示装置、クレーンシステム及び情報提示方法 - Google Patents

情報提示装置、クレーンシステム及び情報提示方法 Download PDF

Info

Publication number
WO2015145725A1
WO2015145725A1 PCT/JP2014/059134 JP2014059134W WO2015145725A1 WO 2015145725 A1 WO2015145725 A1 WO 2015145725A1 JP 2014059134 W JP2014059134 W JP 2014059134W WO 2015145725 A1 WO2015145725 A1 WO 2015145725A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
driver
image information
crane
acquisition unit
Prior art date
Application number
PCT/JP2014/059134
Other languages
English (en)
French (fr)
Inventor
豊原 尚
伸郎 吉岡
Original Assignee
三菱重工マシナリーテクノロジー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱重工マシナリーテクノロジー株式会社 filed Critical 三菱重工マシナリーテクノロジー株式会社
Priority to JP2015526428A priority Critical patent/JP6017691B2/ja
Priority to CN201480003357.3A priority patent/CN105189327B/zh
Priority to PCT/JP2014/059134 priority patent/WO2015145725A1/ja
Publication of WO2015145725A1 publication Critical patent/WO2015145725A1/ja
Priority to HK16107114.8A priority patent/HK1219087A1/zh

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B66HOISTING; LIFTING; HAULING
    • B66CCRANES; LOAD-ENGAGING ELEMENTS OR DEVICES FOR CRANES, CAPSTANS, WINCHES, OR TACKLES
    • B66C13/00Other constructional features or details
    • B66C13/18Control systems or devices
    • B66C13/46Position indicators for suspended loads or for crane elements

Definitions

  • the present invention relates to an information presentation device, a crane system, and an information presentation method.
  • Patent Document 1 There has been proposed a device that presents information to an operator of a device and assists a blind spot area that can be viewed through a rearview mirror or the like (for example, Patent Document 1).
  • the present invention provides an information presentation device, a crane system, and an information presentation method capable of safely operating a crane even for an inexperienced driver.
  • the information presenting apparatus is installed on the trolley, a boom that is extended and disposed above the object to be suspended, a trolley that is movable along the boom, and the trolley.
  • Suspending means capable of being lifted and lowered by suspending the object, and provided so as to allow the driver located in the driver's seat to be visually recognized by the driver positioned below the object.
  • a display unit capable of displaying predetermined image information in a field of view when the driver looks at the operation window.
  • an operation support information acquisition unit that acquires operation support information for supporting an operation of a suspended work by the driver, and image information including at least the acquired operation support information is generated and output to the display unit
  • An image information generation unit is provided.
  • the operation support information acquisition unit includes a motion information acquisition unit that acquires motion information of the crane
  • the image information generation unit includes: Image information including the operation information is generated as operation support information.
  • the operation support information acquisition unit acquires the object video information via the imaging device that captures a range located below the suspension means.
  • the image information generation unit generates image information including the object video information as the operation support information.
  • the operation support information acquisition unit acquires profile information indicating profile information indicating an outline of the object located below the suspension means.
  • the image information generation unit generates image information including the profile information as the operation support information.
  • an image imitating the object and the surrounding contour (profile) is provided within the range of the driver's field of view. Therefore, the driver can grasp the height and positional relationship between the target object and the surrounding obstacles while directly viewing the target object and the surrounding conditions, so that the driver can be more secure and safe. It becomes possible to operate efficiently.
  • the operation support information acquisition unit includes an attribute information acquisition unit that acquires attribute information for each of the predetermined objects, and the image The information generation unit generates image information including the attribute information as the operation support information.
  • a procedure list indicating the order of objects to be handled and information for identifying the object are displayed in the driver's field of view. Can do. Accordingly, the driver can accurately and quickly determine the object to be carried next, so that the cargo handling operation can be performed more efficiently.
  • the image information generation unit associates each of the attribute information with each of the objects that are directly viewed from the operation window.
  • the image information is generated as follows. According to such a configuration, attribute information is attached in association with each of the objects that are directly viewed from the operation window, so the crane driver looks at the difference between the stacked containers. It becomes possible to grasp, and cargo handling work can be performed more efficiently.
  • the display unit is attached to a wearable device that the driver wears on the head.
  • the wearable device arranges the display unit within the range of the driver's field of view while following the change in the posture even when the driver faces downward for operation. Therefore, the driver can visually recognize the operation support information while directly visualizing the object and the surrounding situation without changing the posture. Moreover, since it is realizable only by a driver
  • the wearable device further includes a posture detection unit that detects driver posture information, and the display unit is based on the posture information.
  • the image information is displayed when the driver is viewing the lower side.
  • a crane system includes the above-described information presentation device, a boom that is extended and disposed above an object to be suspended, and a trolley that is movable along the boom.
  • Suspending means that is installed on the trolley and is capable of moving up and down by suspending the object; and the object that is installed above the object and is suspended below the driver located in the driver's seat.
  • a crane including an operator's cab having an operation window provided so as to be visible.
  • the information presentation method is installed on the trolley, a boom that is extended and arranged above the object to be suspended, a trolley that is movable along the boom, and the trolley.
  • Suspending means capable of being lifted and lowered by suspending the object, and provided so as to allow the driver located in the driver's seat to be visually recognized by the driver positioned below the object.
  • the image information including the operation support information is generated, and when the driver looks at the operation window, the image information is output to a display unit capable of displaying predetermined image information in the field of view.
  • the crane system according to the present embodiment includes a crane (a crane 10 described later) and an information presentation device (an information presentation device 20 described later).
  • a crane is a container crane which performs the loading / unloading operation
  • the information presentation device is mounted on the container crane, and provides information to the driver through vision for supporting the driver's operation of the lifting work.
  • FIG. 1 is a figure showing the whole crane composition concerning a 1st embodiment.
  • the crane 10 includes a leg structure portion 11, a boom 12, a trolley 13, a cab 14, and a spreader 15 (suspending means).
  • the leg structure 11 is installed on the ground of the quay and supports the entire other configuration of the crane 10 while extending upward.
  • the leg structure 11 has a traversing mechanism 11a at the base end, and can traverse the entire crane 10 along the rail provided on the ground.
  • the boom 12 is supported by the leg structure 11, the suspended ship (container A) and the object to be suspended (a plurality of containers loaded on the container ship 50) are located on the side where the container ship 50 is anchored. Stretched.
  • the boom 12 is rotatable in a direction in which the tip is directed upward.
  • the trolley 13 is capable of traveling (moving in the left-right direction on the paper surface) along rails arranged in the extending direction of the boom 12.
  • the cab 14 and the spreader 15 are movable in the extending direction of the boom 12 as the trolley 13 moves.
  • a driver who operates the crane 10 gets on the cab 14.
  • the internal structure of the cab 14 will be described later.
  • the spreader 15 is suspended by a rope extending downward from the trolley 13 and can fix the container A serving as a suspended load. Further, the spreader 15 can be raised and lowered while the container A is fixed and suspended by the rope being wound or lowered in the trolley 13.
  • the crane 10 is installed on the quay of the port and loads and unloads a plurality of containers loaded on the anchored container ship 50.
  • FIG. 2 is a diagram illustrating an internal structure of a cab of the crane according to the first embodiment.
  • the cab 14 includes a driver's seat 141, an operation panel 142, an operation window 143, and a terminal device 21 inside.
  • the driver seat 141 is a seat where the driver X of the crane 10 is located.
  • the operation panel 142 is provided with an input interface (lever, switch, etc.) required for the driver X to operate various operations of the crane 10.
  • the operation window 143 is provided so that the driver X located in the driver's seat 141 can visually recognize the suspended load (container A or the like) suspended below.
  • the terminal device 21 is, for example, a general personal computer. A specific functional configuration of the terminal device 21 will be described later.
  • the driver X located in the driver seat 141 can visually recognize the spreader 15 and the container A suspended from the spreader 15 through the operation window 143 disposed below the driver X.
  • the driver X operates the crane 10 via the operation panel 142 arranged on the side surface of the driver seat 141 while visually checking the state of the container A and its surroundings (presence of obstacles) through the operation window 143. Carry out the lifting work.
  • the driver X wears the wearable device 22 on the head.
  • the wearable device 22 can display predetermined image information in the field of view when at least the driver X faces the operation window 143.
  • FIG. 3 is a diagram illustrating the structure of the wearable device according to the first embodiment.
  • the wearable device 22 is a glasses-type terminal device worn on the head of the driver X, and includes a display unit 222 that can display predetermined image information in the field of view of the driver X. ing. Accordingly, the driver X can visually recognize the image information through the display unit 222 while simultaneously viewing the suspended container A and the like when looking down downward during the operation.
  • the aspect of the wearable device 22 is not limited to the glasses-type type as shown in FIG. 3, and may be, for example, a head-mounted terminal device having a transparent display that can visually recognize the background. That is, the wearable device 22 may be in any form as long as it can display image information in at least one region of the field of view regardless of the posture of the driver X's head.
  • FIG. 4 is a diagram illustrating a functional configuration of the information presentation apparatus according to the first embodiment.
  • the information presentation device 20 according to the present embodiment includes a terminal device 21 installed in the cab 14 and a wearable device 22 worn by the driver X.
  • the terminal device 21 receives input of predetermined information from the crane control device 31 provided in the crane 10.
  • the crane control device 31 is a control mechanism that operates various movable parts of the crane 10 based on the operation of the driver X.
  • the crane control device 31 can acquire operation information representing the operation state of the crane 10, specifically, various information such as the traverse coordinates, the hoisting coordinates, the undulation angle, the traverse speed, the hoisting speed, and the traveling speed of the crane 10.
  • the terminal device 21 includes a CPU (Central Processing Unit) 210, a communication connection unit 213, and a wireless communication module 214.
  • the CPU 210 is a functional unit that controls the overall operation of the terminal device 21.
  • the CPU 210 functions as an operation support information acquisition unit 211 (operation information acquisition unit 211a) and an image information generation unit 212 by reading a predetermined program into an internal storage area. The functions of the operation support information acquisition unit 211 and the image information generation unit 212 will be described below.
  • the communication connection unit 213 is a connection interface for wired connection (or wireless connection) with the crane control device 31, whereby the terminal device 21 can communicate with the crane control device 31.
  • the operation support information acquisition unit 211 (operation information acquisition unit 211a) sequentially receives input of operation information indicating the current operation state of the crane 10 as operation support information from the crane control device 31 via the communication connection unit 213.
  • the image information generation unit 212 generates image information including at least the operation support information (that is, operation information) acquired by the operation information acquisition unit 211a, and outputs the image information to the display unit 222 of the wearable device 22.
  • the image information generation unit 212 outputs the image information to the display unit 222 via the wireless communication modules 214 and 221 provided in the self device and the wearable device 22.
  • the wireless communication module 214 is a communication interface for the terminal device 21 to exchange information with the wearable device 22 wirelessly.
  • the wireless communication module 214 realizes wireless communication according to a predetermined wireless communication protocol with another wireless communication module 221 provided in the wearable device 22.
  • the display unit 222 included in the wearable device 22 is a small liquid crystal display or the like, and includes image information (including operation information) input from the terminal device 21 (image information generation unit 212) via the wireless communication module 221.
  • the image information is displayed based on the above.
  • the driver X wearing the wearable device 22 can grasp the current operation state of the crane by visually recognizing the image information (operation information).
  • the image information displayed on the display unit 222 will be described later. Note that the output of the image information from the terminal device 21 to the wearable device 22 may be performed by wired communication via a predetermined communication cable instead of wireless communication.
  • the wearable device 22 includes an attitude detection unit 223 inside.
  • the posture detection unit 223 has an acceleration sensor inside, for example, detects the posture of the head of the driver X to which the wearable device 22 is worn, and posture information (information indicating whether or not the user is facing downward). ) Can be obtained.
  • FIG. 5 is a diagram illustrating image information displayed on the display unit according to the first embodiment.
  • the image information generation unit 212 based on the motion information acquired by the motion information acquisition unit 211 a, specifically, the traversal coordinates in the leg structure unit 11, Information (numerical values) such as traversing speed, winding coordinates of spreader 15 by trolley 13, hoisting speed, hoisting angle of boom 12, traveling speed of trolley 13, ON / OFF of twist lock, load of suspended load (container A), etc. , Parameter) is generated.
  • the image information P1 generated by the image information generation unit 212 is output to the display unit 222 of the wearable device 22 via the wireless communication modules 214 and 221 (see FIG. 5).
  • FIG. 6A and 6B are first and second flowcharts showing the processing procedure of the information presentation apparatus according to the first embodiment.
  • 6A shows a processing procedure in the terminal device 21, and FIG. 6B shows a processing procedure in the wearable device 22.
  • the operation support information acquisition unit 211 acquires operation information of the crane 10 from the crane control device 31 (step S11).
  • the image information generation unit 212 generates image information P1 (FIG. 5) based on the acquired operation information (step S12).
  • the image information generation unit 212 further outputs the generated image information P1 to the wearable device 22 via the wireless communication modules 214 and 221 (step S13).
  • step S14 determines whether the driving
  • step S14: YES the terminal device 21 ends the process.
  • step S14: NO the process returns to step S11, and the process of acquiring operation information to outputting image information is repeated.
  • the wearable device 22 acquires the image information P1 generated by the image information generation unit 212 via the wireless communication module 221 (step S21).
  • the wearable device 22 acquires posture information via the posture detection unit 223, and determines whether or not the driver X is facing downward (step S22).
  • the posture detection unit 223 determines that the driver X is facing downward when the direction of gravitational acceleration in the built-in acceleration sensor is included within a predetermined determination reference range.
  • the wearable device 22 displays the acquired image information P1 on the display unit 222 (step S23).
  • step S22 when it is determined that the driver X is not facing downward (step S22: NO), new image information P1 is acquired without displaying the image information P1 (without performing step S23).
  • step S24 it is equivalent to the above-mentioned step S14.
  • the wearable device 22 receives an input of a signal indicating the end of operation of the crane 10 via the wireless communication module 221.
  • the wearable device 22 displays the image information P1 when the driver X faces downward to visually recognize the situation such as the suspended load (container A).
  • the driver X provides the operation information only when the operation information (operation support information) of the crane 10 is required (that is, when the operation is performed while facing downward). Is done. Therefore, since unnecessary information is not displayed in a situation where the driver X does not require operation information, the driver X is not distracted, and the troublesomeness of wearing the wearable device 22 can be reduced.
  • the wearable device 22 according to another embodiment is not limited to this aspect. In other words, even when the driver X faces a different direction other than downward, the display of the image information P1 may be continued as it is, or other image information corresponding to the directed direction may be displayed. .
  • the operation support information for supporting the operation within the range of the field of view. (In the present embodiment, operation information of the crane 10) is provided. Therefore, the driver X can visually recognize the operation support information at the same time without changing the posture while directly viewing the container A as a suspended load and the surrounding situation. Even with little experience, it is possible to operate safely and efficiently.
  • the terminal device 21 mentioned above was demonstrated as what is mounted in the cab 14 of the crane 10 (FIG. 2), the function of the said terminal device 21 is another terminal provided in places other than the cab 14. It can also be realized by a device.
  • the crane system according to the present embodiment provides predetermined video information to the driver via a photographing device provided outside the crane.
  • FIG. 7 is a diagram illustrating a functional configuration of the information presentation apparatus according to the second embodiment.
  • the terminal device 21 of the information presentation device 20 according to the present embodiment is configured to accept input of predetermined object video information from the imaging device 32 in addition to the crane control device 31. Yes.
  • the photographing device 32 is, for example, a surveillance camera, and is provided outside the crane 10 so that a predetermined range located below the spreader 15 can be photographed.
  • the imaging device 32 is attached to a position (such as the ground) where the suspended container A and its periphery can be imaged over a wide range from an angle different from the direction of the line of sight of the driver X.
  • the imaging device 32 may be attached so as to face downward from the trolley 13, the spreader 15, etc., for example, so that the range which becomes a blind spot from the driver
  • the imaging device 32 includes a drive mechanism 32a.
  • the drive mechanism 32a can change the housing posture of the photographing device 32 by driving, and thereby can change the photographing range of the photographing device 32 as desired.
  • the drive mechanism 32a can further drive a lens or the like to perform enlargement / reduction of an object to be photographed.
  • the drive mechanism 32a acquires operation information from the crane control device 31, and changes the posture of the imaging device 32 so as to correspond to the coordinates (transverse coordinates, hoisting coordinates, etc.) indicated by the operation information. Thereby, the imaging device 32 can change the imaging range so as to follow the suspended load in accordance with the movement of the suspended load (container A).
  • the operation support information acquisition unit 211 further includes a video information acquisition unit 211b in addition to the operation information acquisition unit 211a according to the first embodiment.
  • the video information acquisition unit 211b receives an object video indicating the video (video showing the suspended load and its surroundings) taken by the imaging device 32 as operation support information from the imaging device 32 via the communication connection unit 213. Accepts information input sequentially.
  • FIG. 8 is a diagram illustrating image information displayed on the display unit according to the second embodiment.
  • the image information generation unit 212 according to the present embodiment performs the operation based on the operation information acquired by the operation information acquisition unit 211a and the object video information acquired by the video information acquisition unit 211b.
  • Image information P2 including information and object video information is generated.
  • the image information P2 includes an image area P21 where the operation information of the crane 10 is displayed, and an image area P22 where the object video information (video captured by the imaging device 32) is displayed.
  • the image area P22 includes an image Pa of the crane 10, an image Pb of the container A as a suspended load, and images Pc of a plurality of containers stacked on the ship of the container ship 50.
  • the image information P2 generated by the image information generation unit 212 is output to the display unit 222 of the wearable device 22 (see FIG. 8).
  • the operation support information acquisition unit 211 (the operation information acquisition unit 211a and the video information acquisition unit 211b) according to the present embodiment receives the operation information from each of the crane control device 31 and the imaging device 32 in step S11 (FIG. 6A). And processing for acquiring both the object video information.
  • the driver X within the range of the view of the driver X, not only the operation information of the crane 10 but also the image of the suspended load and the surrounding situation taken from different angles. Is provided. Accordingly, the driver X can confirm the positional relationship between the container A and the surrounding obstacles from another angle while directly viewing the suspended container A and the surrounding situation. Person X can operate more safely and efficiently.
  • the crane system according to the present embodiment provides predetermined profile information to the driver via a predetermined profile sensor provided in the crane.
  • FIG. 9 is a diagram illustrating a functional configuration of the information presentation apparatus according to the third embodiment.
  • the terminal device 21 of the information presentation device 20 according to the present embodiment is configured to accept input of predetermined profile information from the profile sensor 33 in addition to the crane control device 31.
  • the profile sensor 33 is a device that irradiates an object to be measured with a laser and can measure the distance between the device itself and the laser reflecting surface according to the incident time of the reflected light.
  • the profile sensor 33 according to the present embodiment can detect a two-dimensional profile (contour) of a plurality of containers and the like loaded on the container ship 50 by scanning the laser in one axial direction.
  • the profile sensor 33 is provided in the trolley 13, the spreader 15, and the like, and scans the laser along the traveling direction of the trolley 13 (the extending direction of the boom 12) in a predetermined range below the profile sensor 33. Thereby, the profile sensor 33 can detect the profiles (contours) in the height direction of a plurality of containers loaded on the container ship 50.
  • the operation support information acquisition unit 211 further includes a profile information acquisition unit 211c in addition to the operation information acquisition unit 211a according to the first embodiment.
  • the profile information acquisition unit 211c inputs profile information indicating profile information (suspended load and surrounding contour information) acquired by the profile sensor 33 as operation support information from the profile sensor 33 via the communication connection unit 213. Are accepted sequentially.
  • FIG. 10 is a diagram illustrating image information displayed on the display unit according to the third embodiment.
  • the image information generation unit 212 according to the present embodiment is based on the operation information acquired by the operation information acquisition unit 211a and the profile information acquired by the profile information acquisition unit 211c. And the image information P3 containing profile information is produced
  • the image information P3 includes an image region P31 in which operation information of the crane 10 is displayed, and an image region P32 in which a contour image formed based on the profile information acquired by the profile sensor 33 is displayed. , Is included.
  • an image Pm showing the outline of the container A as a suspended load and an image Pn showing the outlines of a plurality of containers stacked on the container ship 50 are displayed.
  • the image information P3 generated by the image information generation unit 212 is output to the display unit 222 of the wearable device 22 (see FIG. 10).
  • the profile sensor 33 attached to the crane 10 is not limited to one, and may be attached to a plurality of different locations.
  • the image information generation unit 212 stores in advance the relative positional relationship between the plurality of profile sensors 33 and synthesizes profile information acquired from different profile sensors 33 based on the positional relationship.
  • one profile information is generated.
  • the contour that cannot be detected by one profile sensor 33 as a blind spot can be supplemented by the other profile sensor 33, so that more detailed profile information can be provided to the driver X. .
  • the operation support information acquisition unit 211 (the operation information acquisition unit 211a and the profile information acquisition unit 211c) according to the present embodiment operates from each of the crane control device 31 and the profile sensor 33 in step S11 (FIG. 6A). Processing to acquire both information and profile information is performed.
  • the information presentation apparatus not only the operation information of the crane 10 but also the image imitating the suspended load and the surrounding contour (profile) is provided within the range of the view of the driver X. Is done. Therefore, the driver X can grasp the height and the positional relationship between the container A and the surrounding obstacles while directly viewing the suspended container A and its surroundings. Can be operated more safely and efficiently. Further, since the information presentation apparatus according to the present embodiment is profile information acquired by the profile sensor 33, the amount of information is less than that of video information, and information can be updated at high speed. The configuration can be simplified.
  • the profile information acquired by the profile sensor 33 has been described as two-dimensional profile information (see FIG. 10), but is not limited to this aspect in other embodiments.
  • the profile sensor 33 may be able to scan in the biaxial direction and acquire three-dimensional profile information.
  • the information presentation apparatus 20 (operation support information acquisition unit 211) according to another embodiment includes a video information acquisition unit 211b according to the second embodiment, a profile information acquisition unit 211c according to the third embodiment, The aspect provided with both of these may be sufficient.
  • the image information generation unit 212 according to the other embodiment includes image information including both the object video information acquired by the video information acquisition unit 211b and the profile information acquired by the profile information acquisition unit 211c. It may be generated. Specifically, the image information generation unit 212 displays an image region P22 (FIG. 8) in which object video information (video captured by the imaging device 32) is displayed, and a contour image formed based on the profile information. Image information having both of the displayed image areas P32 (FIG. 10) is generated.
  • the display unit is attached to a wearable device worn by the driver X on the head.
  • the driver X can be realized only by wearing the wearable device, so that the burden of laying the information presentation device 20 can be reduced.
  • the transparent display device is applied to the operation window disposed below the driver X located in the driver's seat.
  • FIG. 11 is a diagram illustrating a functional configuration of the information presentation apparatus according to the fourth embodiment.
  • the information presentation device 20 according to the present embodiment includes a terminal device 21 and a transparent display device 25. Since the functional configuration of the terminal device 21 is the same as that of the first embodiment, detailed description thereof is omitted.
  • the transparent display device 25 includes a wireless communication module 251 and a transparent display unit 252.
  • the transparent display device 25 is a display device having a feature that allows the background behind the display screen to be seen through while displaying image information on the display screen.
  • the transparent display device 25 includes a transparent display unit 252.
  • the transparent display unit 252 is an aspect of the display unit, and is installed so as to cover part or all of the operation window 143 (see FIG. 2) provided below the cab 14.
  • the transparent display unit 252 can display predetermined image information to the driver X and can be seen through the background.
  • the driver X can directly visually recognize the spreader 15, the suspended load (container A), and the like that are positioned beyond the transparent display unit 252 (and the operation window 143).
  • the wireless communication module 251 is equivalent to the wireless communication module 221 described above, and is a communication interface for exchanging information with the wireless communication module 214 of the terminal device 21 wirelessly.
  • the transparent display device 25 acquires the image information generated by the image information generation unit 212 via the wireless communication module 214.
  • the exchange of information between the terminal device 21 and the transparent display device 25 is not limited to wireless communication, and may be performed by wired communication.
  • FIG. 12 is a diagram illustrating an example of a scene visually recognized by the driver through the transparent display unit according to the fourth embodiment.
  • FIG. 12 shows an example of a scene that the driver X according to the present embodiment can visually recognize from the driver's seat 141 through the operation window 143 below the driver's seat 141.
  • the transparent display unit 252 according to the present embodiment is installed on the entire surface of the operation window 143.
  • the transparent display unit 252 displays image information P4 including operation support information (in this embodiment, operation information of the crane 10) acquired via the wireless communication module 251. As shown in FIG. 12, the image information P ⁇ b> 4 is displayed at the corner of the transparent display unit 252.
  • the driver X is positioned below the transparent display portion 252 and the operation window 143 in an area other than the area where the image information P4 is displayed.
  • the spreader 15 to be suspended, the suspended container A, and the containers stacked in the vicinity thereof can be directly seen (see FIG. 12).
  • the display unit transparent display unit 252 disposed at the position where the driver enters the field of view.
  • Operation support information operation information
  • the transparent display part 252 can see the background transparently, the driver
  • the image information is displayed on the wearable device 22 worn by the driver X on the head.
  • the image information is displayed on the operation window 143. It is assumed that it is displayed on the installed transparent display unit 252. Thereby, since it is not necessary to wear equipment, such as wearable device 22, work burden of driver X can be reduced.
  • the transparent display unit 252 has been described as one that displays operation information acquired from the crane control device 31 as operation support information in the corner of the operation window 143 (FIG. 12).
  • the transparent display unit 252 includes object video information, profile information, and the like acquired through the imaging device 32 and the profile sensor 33 as operation support information, as in the second and third embodiments. Image information may be displayed.
  • the transparent display device is applied to the operation window disposed below the driver X located in the driver's seat, and the attributes defined in advance for each container to be suspended. Information is displayed on a transparent display device to assist the driver in operating.
  • FIG. 13 is a diagram illustrating a functional configuration of the information presentation apparatus according to the fifth embodiment.
  • the information presentation device 20 according to the present embodiment includes a terminal device 21 and a transparent display device 25.
  • the terminal device 21 receives input of attribute information for each container from the ground terminal device 34 in addition to the crane control device 31.
  • the ground terminal device 34 is a terminal device installed in a work room of a container yard.
  • the ground terminal device 34 is associated with a container ID for identifying a plurality of containers loaded on the container ship 50, coordinate information indicating where each container is loaded on the container ship 50, and the like.
  • a container attribute table (attribute information) is stored.
  • the operation support information acquisition unit 211 further includes an attribute information acquisition unit 211d in addition to the operation information acquisition unit 211a according to the first embodiment.
  • the attribute information acquisition unit 211d receives input of attribute information stored in the ground terminal device 34 as operation support information from the ground terminal device 34 via the communication connection unit 213. Further, the attribute information acquisition unit 211d according to the present embodiment further acquires three-dimensional model data imitating the structure of the container ship 50 to be anchored and the loaded container.
  • FIG. 14 is a diagram illustrating an example of a container attribute table stored in the ground terminal device according to the fifth embodiment.
  • the container attribute table is an aspect of the attribute information, and identifies a container ID for identifying a container, a container ship ID for identifying a loaded container ship, and where the container ship is expected.
  • 4 is a table for associating each of loading position coordinates (X, Y, Z), a work procedure indicating the order of containers to be loaded and unloaded, and position coordinates (X, Y, Z) arranged in the container yard.
  • the container attribute table is created in advance by a distribution manager or the like and stored in the ground terminal device 34 installed in the container yard. Note that the container attribute table shown in FIG. 14 is an example, and is not limited to this, and may include other information.
  • FIG. 15 is a diagram illustrating an example of a scene visually recognized by the driver through the transparent display unit according to the fifth embodiment.
  • FIG. 15 shows an example of a scene that the driver X according to the present embodiment can visually recognize from the driver's seat 141 through the operation window 143 below the driver's seat 141.
  • the transparent display unit 252 according to this embodiment is installed on the entire surface of the operation window 143. Further, since the transparent display portion 252 can be seen through the background, the driver X can use the transparent display portion 252 and the operation window 143 to spread the spreader 15 located below, the suspended container A, and the surrounding area. The containers stacked in the stack can be directly visually recognized (see FIG. 15).
  • the transparent display unit 252 displays image information P51 to P53 including operation support information (in this embodiment, operation information and attribute information of the crane 10) acquired via the wireless communication module 251.
  • the image information P51 is operation information of the crane 10.
  • the image information generation unit 212 generates procedure list image information P52 indicating the work procedure of the driver X based on the attribute information (container attribute table) acquired by the attribute information acquisition unit 211d. Specifically, the image information generation unit 212 lists the container ID and the yard position coordinates associated with the container ID in the order shown in the work procedure of the container attribute table (see FIG. 15). By displaying this image information P52 on the transparent display unit 252, the driver X can grasp the transport procedure of the containers stacked on the container ship 50 and the arrangement position in the container yard.
  • the image information generation unit 212 includes the loading position coordinates of the attribute information (container attribute table) acquired by the attribute information acquisition unit 211d, the container ID, and the 3D model data that conforms to the container ship ID. , Each piece of attribute information (container ID) generates image information P53 associated with each of the containers that are directly viewed from the operation window 143.
  • the image information generation unit 212 determines from the driver seat 141 where the driver X is located based on the relationship between the operation information of the crane 10 (transverse coordinates, hoisting coordinates, etc.) and the anchoring position of the container ship 50. A process of matching the scene of the container ship 50 viewed through the operation window 143 with the three-dimensional model data of the container ship 50 created in advance is performed.
  • the image information generation unit 212 refers to the three-dimensional model data of the container ship 50, the container ID and the loading position coordinates (X, Y, Z) of each container loaded on the container ship 50, and actually The image information P53 is generated so that the container ID of each container is attached to the position corresponding to each container in the three-dimensional model data matched with the scene.
  • the image information P53 indicating the container ID is displayed so as to correspond to each of the containers directly visible from the driver X, so that the driver can accurately display a plurality of containers stacked on the container ship 50. Can be identified.
  • a procedure list indicating the order of containers in which the driver X performs cargo handling is displayed on the transparent display unit 252.
  • the container ID is assigned so that the driver X corresponds to each container that is actually visually recognized through the transparent display unit 252 (operation window 143). Accordingly, the driver X can grasp the container to be carried next at a glance, and can accurately and quickly determine the container, so that the cargo handling operation can be performed more efficiently.
  • the image information generation unit 212 for example, through the transparent display unit 252 so that the height of the suspended container A and its surroundings can be grasped at a glance.
  • a color distribution color gradation such as red, blue, yellow, etc.
  • corresponding to the height may be attached to a directly visible container or the like.
  • the crane which concerns on each above-mentioned embodiment demonstrated as what is a container crane installed in a quay, in other embodiment, it is not limited to this aspect.
  • the crane on which the information presentation device is mounted is a mode in which the driver works while directly viewing the suspended load (container A) and the object (a plurality of containers loaded on the container ship 50) positioned below the crane. Any other crane may be used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Control And Safety Of Cranes (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

 情報提示装置(20)は、吊荷となる対象物の上方で延伸して配されるブームと、当該ブームに沿って移動可能なトロリーと、当該トロリーに設置され、対象物を吊り下げて昇降可能な吊下手段と、対象物の上方に設置され、運転席に位置する運転者がその下方に吊り下げられた対象物を視認可能なように設けられた操作用窓を有する運転室と、を備えたクレーンにおける情報提示装置(20)であって、運転者が操作用窓を見た際に、その視界に所定の画像情報を表示可能な表示部(222)と、運転者による吊荷作業の操作を支援するための操作支援情報を取得する操作支援情報取得部(211)と、少なくとも取得した操作支援情報を含む画像情報を生成し、表示部(222)に出力する画像情報生成部(212)と、を備える。

Description

情報提示装置、クレーンシステム及び情報提示方法
 本発明は、情報提示装置、クレーンシステム及び情報提示方法に関する。
 大型のコンテナクレーン等は、揚程が高く、また、コンテナ船上に段積みされたコンテナの山積形状が複雑に変化するため、その吊荷作業の操作には高度な技量が要求される。例えば、コンテナクレーンの運転者は、運転席の下方にあるコンテナ船上のコンテナの状況を視認しながら、吊荷を所定の位置に設置する操作を行う。このとき、効率よく吊荷作業を進めるためには、コンテナと吊荷との位置関係を目視で正確に把握する能力が不可欠である。
 機器のオペレータに情報を提示して、バックミラー等を介して視認できる死角領域を補助する装置が提案されている(例えば、特許文献1)。
特開平11-119687号公報
 上述したように、コンテナクレーン等の大型な重機を用いた作業を効率よく行うためには、蓄積された経験に基づく熟練の操作技量を要する。例えば、クレーンが大型になるほど吊荷(コンテナ)と運転者との距離が離れるため、運転者は、吊り上げた吊荷と周辺の障害物(コンテナ船に積まれた他のコンテナ等)との距離感を掴みにくくなる。そうすると、経験が浅い運転者は、安全確保を意識するあまり、吊荷を必要以上の高さまで巻き上げたり、運搬の速度を遅めたりするので、全体として吊荷作業の効率が低下する。また、近年、コンテナ船の大型化に伴い、コンテナクレーンの大型化も進んでおり、クレーンの安全運転に必要な技量も一層高度化している。
 上記課題に鑑みて、本発明は、経験の浅い運転者であってもクレーンの操作を安全に実施することができる情報提示装置、クレーンシステム及び情報提示方法を提供する。
 本発明の第1の態様によれば、情報提示装置は、吊荷となる対象物の上方で延伸して配されるブームと、当該ブームに沿って移動可能なトロリーと、当該トロリーに設置され、前記対象物を吊り下げて昇降可能な吊下手段と、前記対象物の上方に設置され、運転席に位置する運転者がその下方に吊り下げられた前記対象物を視認可能なように設けられた操作用窓を有する運転室と、を備えたクレーンにおける情報提示装置であって、前記運転者が前記操作用窓を見た際に、その視界に所定の画像情報を表示可能な表示部と、前記運転者による吊荷作業の操作を支援するための操作支援情報を取得する操作支援情報取得部と、少なくとも前記取得した操作支援情報を含む画像情報を生成し、前記表示部に出力する画像情報生成部と、を備える。
 このような構成によれば、運転者が操作のために下方を向いた場合であっても、その視界の範囲内において、操作を支援するための操作支援情報が提供される。したがって、運転者は、対象物とその周辺の状況を直接視認しながら、その姿勢を変えることなく、操作支援情報をも視認することができ、クレーンの操作の経験が浅くとも、安全かつ効率的に操作することが可能となる。
 本発明の第2の態様によれば、上述の情報提示装置において、前記操作支援情報取得部は、前記クレーンの動作情報を取得する動作情報取得部を有し、前記画像情報生成部は、前記操作支援情報として前記動作情報を含む画像情報を生成する。
 このような構成によれば、クレーンの運転者は、対象物とその周辺の状況を直接視認しながらクレーンの動作情報を視認することができるので、対象物の高さや位置の調整を迅速かつ正確に行うことができる。
 本発明の第3の態様によれば、上述の情報提示装置において、前記操作支援情報取得部は、前記吊下手段の下方に位置する範囲を撮影する撮影装置を介して対象物映像情報を取得する映像情報取得部を有し、前記画像情報生成部は、前記操作支援情報として前記対象物映像情報を含む画像情報を生成する。
 このような構成によれば、運転者の視界の範囲内において、対象物及びその周辺の状況を別の角度から撮影した対象物映像情報が提供される。したがって、運転者は、対象物とその周辺の状況を直接視認しつつ、更に、対象物と周辺の障害物との位置関係を別の角度から確認することができるので、運転者は、一層、安全かつ効率的に操作することが可能となる。
 本発明の第4の態様によれば、上述の情報提示装置において、前記操作支援情報取得部は、前記吊下手段の下方に位置する前記対象物の輪郭を示すプロファイル情報を取得するプロファイル情報取得部を有し、前記画像情報生成部は、前記操作支援情報として前記プロファイル情報を含む画像情報を生成する。
 このような構成によれば、運転者の視界の範囲内において、対象物及び周辺の輪郭(プロファイル)を模した映像が提供される。したがって、運転者は、対象物とその周辺の状況を直接視認しつつ、更に、対象物と周辺の障害物との高さや位置関係を把握することができるので、運転者は、一層、安全かつ効率的に操作することが可能となる。
 本発明の第5の態様によれば、上述の情報提示装置において、前記操作支援情報取得部は、予め規定された前記対象物ごとの属性情報を取得する属性情報取得部を有し、前記画像情報生成部は、前記操作支援情報として前記属性情報を含む画像情報を生成する。
 このような構成によれば、対象物ごとの属性情報に基づいて、荷役を行う対象物の順序を示した手順リストや、当該対象物を識別するための情報を運転者の視界に表示することができる。これにより、運転者は、次に運ぶべき対象物を正確かつ迅速に判別することができるので、一層効率的に荷役作業を行うことができる。
 本発明の第6の態様によれば、上述の情報提示装置において、前記画像情報生成部は、前記属性情報の各々が、前記操作用窓から直接視認される前記対象物の各々と対応付けられるように画像情報を生成する。
 このような構成によれば、操作用窓から直接視認される対象物の各々と対応付けられて属性情報が付されるため、クレーンの運転者は、段積みされたコンテナの別を一見して把握可能となり、一層効率的に荷役作業を行うことができる。
 本発明の第7の態様によれば、上述の情報提示装置において、前記表示部は、前記運転者が頭部に装着するウェアラブル装置に取り付けられている。
 このような構成によれば、ウェアラブル装置は、運転者が操作のために下方を向いた場合であっても、その姿勢の変化に追随しながら、運転者の視界の範囲内に表示部を配するので、運転者は、姿勢を変えることなく、対象物とその周辺の状況を直接視認しながら、操作支援情報を視認することができる。また、運転者がウェアラブル装置を装着するのみで実現可能なので、情報提示装置の敷設負担を軽減できる。
 本発明の第8の態様によれば、上述の情報提示装置において、前記ウェアラブル装置は、更に、運転者の姿勢情報を検知する姿勢検知部を備え、前記表示部は、前記姿勢情報に基づいて、前記運転者が下方を視認している場合に前記画像情報を表示する。
 このような構成とすることで、運転者が操作支援情報を要しない状況においては不要な情報が表示されないため、当該運転者の気を散らすことがなく、ウェアラブル装置の装着の煩わしさを低減することができる。
 本発明の第9の態様によれば、クレーンシステムは、上述の情報提示装置と、吊荷となる対象物の上方で延伸して配されるブームと、当該ブームに沿って移動可能なトロリーと、当該トロリーに設置され、前記対象物を吊り下げて昇降可能な吊下手段と、前記対象物の上方に設置され、運転席に位置する運転者がその下方に吊り下げられた前記対象物を視認可能なように設けられた操作用窓を有する運転室と、を具備するクレーンと、を備える。
 本発明の第10の態様によれば、情報提示方法は、吊荷となる対象物の上方で延伸して配されるブームと、当該ブームに沿って移動可能なトロリーと、当該トロリーに設置され、前記対象物を吊り下げて昇降可能な吊下手段と、前記対象物の上方に設置され、運転席に位置する運転者がその下方に吊り下げられた前記対象物を視認可能なように設けられた操作用窓を有する運転室と、を備えたクレーンの運転時に用いる情報提示方法であって、前記運転者による吊荷作業の操作を支援するための操作支援情報を取得し、少なくとも前記取得した操作支援情報を含む画像情報を生成し、前記運転者が前記操作用窓を見た際に、その視界に所定の画像情報を表示可能な表示部に出力する。
 経験の浅い運転者であってもクレーンの操作を安全に実施可能な情報提示装置、クレーンシステム及び情報提示方法を提供することができる。
第1の実施形態に係るクレーンの全体構成を説明する図である。 第1の実施形態に係るクレーンの運転室の内部の構造を示す図である。 第1の実施形態に係るウェアラブル装置の構造を示す図である。 第1の実施形態に係る情報提示装置の機能構成を示す図である。 第1の実施形態に係る表示部に表示される画像情報を示す図である。 第1の実施形態に係る情報提示装置の処理手順を示す第1のフローチャート図である。 第1の実施形態に係る情報提示装置の処理手順を示す第2のフローチャート図である。 第2の実施形態に係る情報提示装置の機能構成を示す図である。 第2の実施形態に係る表示部に表示される画像情報を示す図である。 第3の実施形態に係る情報提示装置の機能構成を示す図である。 第3の実施形態に係る表示部に表示される画像情報を示す図である。 第4の実施形態に係る情報提示装置の機能構成を示す図である。 第4の実施形態に係る透明表示部を通じて運転者が視認する光景の例を説明する図である。 第5の実施形態に係る情報提示装置の機能構成を示す図である。 第5の実施形態に係る地上端末装置が記憶するコンテナ属性テーブルの例を示す図である。 第5の実施形態に係る透明表示部を通じて運転者が視認する光景の例を説明する図である。
<第1の実施形態>
 以下、第1の実施形態に係るクレーンシステムを、図面を参照しながら説明する。
 本実施形態に係るクレーンシステムは、クレーン(後述するクレーン10)と、情報提示装置(後述する情報提示装置20)と、を備えている。本実施形態において、クレーンは、コンテナ船上のコンテナの積み卸し作業を行うコンテナクレーンである。また、情報提示装置は、当該コンテナクレーンに搭載され、その運転者の吊荷作業の操作を支援するための情報を、視覚を通じて運転者に提供する。
[クレーンの全体構成]
 図1は、第1の実施形態に係るクレーンの全体構成を示す図である。
 図1に示すように、クレーン10は、脚構造部11と、ブーム12と、トロリー13と、運転室14と、スプレッダー15(吊下手段)と、を備えている。
 脚構造部11は、岸壁の地上に設置され、上方に延伸しながらクレーン10の他の構成全体を支持する。脚構造部11は、基端に横行機構11aを有しており、地上に設けられたレールに沿ってクレーン10全体を横行(紙面奥手、手前方向に移動)可能となっている。ブーム12は、脚構造部11に支持されながら、吊荷(コンテナA)及び吊荷となる対象物(コンテナ船50に積まれた複数のコンテナ)の上方において、コンテナ船50が停泊する側に延伸して配されている。ブーム12は、先端がより上方に向かう方向に回動可能とされている。トロリー13は、ブーム12の延伸方向に配されたレールに沿って走行(紙面左右方向に移動)可能とされている。
 運転室14及びスプレッダー15は、トロリー13の移動に伴ってブーム12の延伸方向に移動可能とされる。運転室14には、クレーン10を操作する運転者が搭乗する。運転室14の内部の構造については後述する。スプレッダー15は、トロリー13から下方に伸びるロープによって吊り下げられ、吊荷となるコンテナAを固定できる。また、スプレッダー15は、トロリー13においてロープの巻上げ又は巻下げが成されることで、コンテナAを固定して吊り下げながら昇降可能とする。
 以上のような構成により、クレーン10は、港湾の岸壁に設置されて、停泊するコンテナ船50に積まれた複数のコンテナの積み卸しを行う。
 図2は、第1の実施形態に係るクレーンの運転室の内部の構造を示す図である。
 図2に示すように、運転室14は、内部に運転席141と、操作パネル142と、操作用窓143と、端末装置21と、を内部に備えている。
 運転席141は、クレーン10の運転者Xが位置する座席である。操作パネル142には、運転者Xがクレーン10の各種動作の操作に要する入力インターフェイス(レバーやスイッチ等)が設けられている。操作用窓143は、運転席141に位置する運転者Xがその下方に吊り下げられた吊荷(コンテナA等)を視認可能なように設けられている。端末装置21は、例えば、一般的なパーソナルコンピュータ等である。端末装置21の具体的な機能構成については後述する。
 運転席141に位置する運転者Xは、その下方に配された操作用窓143を介して、スプレッダー15及びスプレッダー15に固定されて吊り下げられたコンテナAを視認することができる。運転者Xは、操作用窓143を介してコンテナAやその周辺の状況(障害物の有無)を視認しながら、運転席141の側面に配された操作パネル142を介してクレーン10を操作し、吊荷作業を遂行する。
 また、本実施形態においては、図2に示すように、運転者Xは、頭部にウェアラブル装置22を装着している。ウェアラブル装置22は、少なくとも運転者Xが操作用窓143の方向を向いた際に、その視界に所定の画像情報を表示可能とする。
 図3は、第1の実施形態に係るウェアラブル装置の構造を示す図である。
 図3に示すように、ウェアラブル装置22は、運転者Xの頭部に装着されるメガネ型の端末機器であり、運転者Xの視界に、所定の画像情報を表示可能な表示部222を備えている。これにより、運転者Xは、操作中に下方を見下ろしている場合において、吊下げているコンテナA等を視認しながら、同時に、表示部222を通じて当該画像情報を視認することができる。
 なお、ウェアラブル装置22の態様は、図3に示すようなメガネ型のタイプには限定されず、例えば、背景を視認可能な透明ディスプレイを有するヘッドマウント型の端末機器等であってもよい。即ち、ウェアラブル装置22は、運転者Xの頭部の姿勢に関わらず、その視界の少なくとも一領域に画像情報を表示可能であれば、如何なる態様であってもよい。
[情報提示装置の機能構成]
 図4は、第1の実施形態に係る情報提示装置の機能構成を示す図である。
 本実施形態に係る情報提示装置20は、図4に示すように、運転室14に設置された端末装置21、運転者Xが装着するウェアラブル装置22を備えている。また、端末装置21は、クレーン10に設けられるクレーン制御装置31から所定の情報の入力を受け付ける。
 クレーン制御装置31は、運転者Xの操作に基づいてクレーン10の各種可動部位を動作させる制御機構である。クレーン制御装置31は、クレーン10の動作状態を表す動作情報、具体的には、クレーン10の横行座標、巻上座標、起伏角度、横行速度、巻上速度、走行速度等の各種情報を取得可能とする。
 端末装置21は、CPU(Central Processing Unit)210と、通信接続部213と、無線通信モジュール214と、を備えている。
 CPU210は、端末装置21の動作全体の制御を司る機能部である。CPU210は、内部の記憶領域に所定のプログラムが読み込まれることで、操作支援情報取得部211(動作情報取得部211a)、及び、画像情報生成部212としての機能を発揮する。操作支援情報取得部211、及び、画像情報生成部212の各機能については以下に説明する。
 通信接続部213は、クレーン制御装置31との有線接続(または、無線接続)のための接続インターフェイスであり、これにより、端末装置21は、クレーン制御装置31と通信可能となっている。
 操作支援情報取得部211(動作情報取得部211a)は、通信接続部213を介して、クレーン制御装置31から、操作支援情報として、現時点におけるクレーン10の動作状態を示す動作情報の入力を逐次受け付ける。
 画像情報生成部212は、少なくとも動作情報取得部211aが取得した操作支援情報(即ち、動作情報)を含む画像情報を生成し、当該画像情報をウェアラブル装置22の表示部222に出力する。この際、画像情報生成部212は、自装置及びウェアラブル装置22に備えられた無線通信モジュール214、221を介して、上記画像情報を表示部222に出力する。
 無線通信モジュール214は、端末装置21がウェアラブル装置22と情報を無線でやり取りするための通信インターフェイスである。無線通信モジュール214は、ウェアラブル装置22に備えられた他の無線通信モジュール221との間で所定の無線通信プロトコルに従った無線通信を実現する。
 ウェアラブル装置22が備える表示部222は、小型の液晶ディスプレイ等であって、無線通信モジュール221を介して端末装置21(画像情報生成部212)から入力される画像情報(動作情報が含まれるもの)に基づいて、当該画像情報を表示する。ウェアラブル装置22を装着する運転者Xは、当該画像情報(動作情報)を視認することで、現時点におけるクレーンの動作状態を把握することができる。表示部222に表示される画像情報については後述する。
 なお、端末装置21からウェアラブル装置22への上記画像情報の出力は、無線通信ではなく所定の通信ケーブルを介した有線通信によって成されるものであってもよい。
 また、本実施形態に係るウェアラブル装置22は、内部に姿勢検知部223を備えている。姿勢検知部223は、例えば内部に加速度センサを有しており、ウェアラブル装置22が装着される運転者Xの頭部の姿勢を検知し、姿勢情報(下方を向いているか否か等を示す情報)を取得することができる。
[画像情報]
 図5は、第1の実施形態に係る表示部に表示される画像情報を示す図である。
 図5に示すように、本実施形態に係る画像情報生成部212は、動作情報取得部211aが取得した動作情報に基づいて、当該動作情報、具体的には、脚構造部11における横行座標、横行速度、トロリー13によるスプレッダー15等の巻上座標、巻上速度、ブーム12の起伏角度、トロリー13の走行速度、ツイストロックのON/OFF、吊荷(コンテナA)の荷重等の情報(数値、パラメータ)を含む画像情報P1を生成する。
 画像情報生成部212が生成した画像情報P1は、無線通信モジュール214、221を介してウェアラブル装置22の表示部222に出力される(図5参照)。
 図6A、図6Bは、第1の実施形態に係る情報提示装置の処理手順を示す第1、第2のフローチャート図である。なお、図6Aには、端末装置21における処理手順を示し、図6Bには、ウェアラブル装置22における処理手順を示している。
 図6Aに示すように、操作支援情報取得部211(動作情報取得部211a)は、クレーン10の動作情報をクレーン制御装置31から取得する(ステップS11)。次に、画像情報生成部212は、取得した動作情報に基づいて画像情報P1(図5)を生成する(ステップS12)。画像情報生成部212は、さらに、生成した画像情報P1を、無線通信モジュール214、221を介してウェアラブル装置22に出力する(ステップS13)。CPU210は、クレーン10の運転終了を示す信号の入力の有無に基づいてクレーン10の運転が終了したか否かを判定する(ステップS14)。操作パネル142を介してクレーン10の運転終了を示す信号の入力を受け付けた場合には(ステップS14:YES)、端末装置21は処理を終了する。一方、クレーン10の運転終了を示す信号の入力を受け付けない場合には(ステップS14:NO)、ステップS11に戻って、引き続き動作情報の取得~画像情報の出力の処理を繰り返す。
 一方、図6Bに示すように、ウェアラブル装置22は、無線通信モジュール221を介して、画像情報生成部212が生成した画像情報P1を取得する(ステップS21)。次に、本実施形態に係るウェアラブル装置22は、姿勢検知部223を介して姿勢情報を取得し、運転者Xが下方を向いているか否かを判定する(ステップS22)。具体的には、姿勢検知部223は、内蔵する加速度センサにおける重力加速度の方位が所定の判定基準範囲内に含まれる場合に、運転者Xが下方を向いていると判定する。ウェアラブル装置22は、運転者Xが下方を向いていると判断した場合(ステップS22:YES)、取得した画像情報P1を表示部222に表示させる(ステップS23)。一方、運転者Xが下方を向いていないと判断した場合(ステップS22:NO)、画像情報P1を表示せずに(ステップS23を実施せずに)、新たな画像情報P1を取得する。なお、ステップS24におけるクレーン10の運転終了判定の処理については、上述のステップS14と同等である。なお、この場合、ウェアラブル装置22は、無線通信モジュール221を介してクレーン10の運転終了を示す信号の入力を受け付ける。
 このように、本実施形態に係るウェアラブル装置22は、運転者Xが、吊荷(コンテナA)等の状況を視認するために下方を向いた場合に、画像情報P1を表示させる。このような構成とすることで、運転者Xは、クレーン10の動作情報(操作支援情報)を必要とする場合(即ち、下方を向いて操作を行う場合)に限って、当該動作情報が提供される。したがって、運転者Xが動作情報を要しない状況においては不要な情報が表示されないため、運転者Xの気を散らすことがなく、ウェアラブル装置22の装着の煩わしさを低減することができる。
 なお、他の実施形態に係るウェアラブル装置22は、この態様に限定されることはない。即ち、運転者Xが下方以外の他の方位を向いた場合であってもそのまま画像情報P1の表示を継続してもよいし、向いた方位に対応する他の画像情報を表示してもよい。
 以上、第1の実施形態に係る情報提示装置によれば、運転者Xが操作のために下方を向いた場合であっても、その視界の範囲内において、操作を支援するための操作支援情報(本実施形態においては、クレーン10の動作情報)が提供される。したがって、運転者Xは、吊荷であるコンテナAとその周辺の状況を直接視認しながら、その姿勢を変えることなく、同時に、操作支援情報をも視認することができるので、クレーン10の操作の経験が浅くとも、安全かつ効率的に操作することが可能となる。
 なお、上述した端末装置21は、クレーン10の運転室14に搭載されるものとして説明したが(図2)、当該端末装置21の機能は、運転室14以外の場所に設けられた他の端末装置によっても実現可能である。
<第2の実施形態>
 次に、第2の実施形態に係るクレーンシステムについて、図面を参照しながら説明する。
 本実施形態に係るクレーンシステムは、クレーンの外部に備え付けられた撮影装置を介して、所定の映像情報を運転者に提供する。
 図7は、第2の実施形態に係る情報提示装置の機能構成を示す図である。
 図7に示すように、本実施形態に係る情報提示装置20の端末装置21は、クレーン制御装置31に加え、更に、撮影装置32から、所定の対象物映像情報の入力を受け付ける態様となっている。
 撮影装置32は、例えば、監視カメラであって、スプレッダー15の下方に位置する所定の範囲を撮影可能となるようにクレーン10の外部に備えられている。具体的には、撮影装置32は、吊荷であるコンテナA及びその周辺を、運転者Xの視線の方向とは異なる角度から広範囲に撮影可能な位置(地上など)に取り付けられている。また、撮影装置32は、運転者Xから死角となる範囲を撮影可能なように、例えば、トロリー13やスプレッダー15等から下方を向くように取り付けられていてもよい(図1参照)。
 図7に示すように、撮影装置32は、駆動機構32aを備えている。駆動機構32aは、駆動により撮影装置32の筐体姿勢を変更可能とし、これにより、撮影装置32の撮影範囲を所望に変更することができる。また、駆動機構32aは、さらに、レンズ等を駆動し、撮影対象の拡大・縮小等も実施することができる。
 駆動機構32aは、クレーン制御装置31から動作情報を取得して、当該動作情報が示す座標(横行座標、巻上座標等)に対応するように撮影装置32の姿勢を変更させる。これにより、撮影装置32は、吊り下げられている吊荷(コンテナA)の移動に合わせて、当該吊荷を追随するように撮影範囲を変更することができる。
 また、操作支援情報取得部211は、第1の実施形態に係る動作情報取得部211aに加え、さらに、映像情報取得部211bを備えている。映像情報取得部211bは、通信接続部213を介して、撮影装置32から、操作支援情報として、当該撮影装置32が撮影する映像(吊荷及びその周辺が写された映像)を示す対象物映像情報の入力を逐次受け付ける。
 図8は、第2の実施形態に係る表示部に表示される画像情報を示す図である。
 図8に示すように、本実施形態に係る画像情報生成部212は、動作情報取得部211aが取得した動作情報、及び、映像情報取得部211bが取得した対象物映像情報に基づいて、当該動作情報、及び、対象物映像情報を含む画像情報P2を生成する。
 具体的には、画像情報P2には、クレーン10の動作情報が表示される画像領域P21と、対象物映像情報(撮影装置32が撮影する映像)が表示される画像領域P22と、が含まれる。また、画像領域P22には、クレーン10の像Pa、吊荷であるコンテナAの像Pb、及び、コンテナ船50の船上に段積みされた複数のコンテナの像Pc等が含まれている。
 画像情報生成部212が生成した画像情報P2は、ウェアラブル装置22の表示部222に出力される(図8参照)。
 第2の実施形態に係る情報提示装置20の処理手順は、第1の実施形態とほぼ同等であるため詳細な説明を省略する。ただし、本実施形態に係る操作支援情報取得部211(動作情報取得部211a及び映像情報取得部211b)は、ステップS11(図6A)にて、クレーン制御装置31及び撮影装置32の各々から動作情報及び対象物映像情報の両方を取得する処理を行う。
 以上、第2の実施形態に係る情報提示装置によれば、運転者Xの視界の範囲内において、クレーン10の動作情報だけでなく、吊荷及びその周辺の状況を別の角度から撮影した映像が提供される。したがって、運転者Xは、吊荷であるコンテナAとその周辺の状況を直接視認しつつ、更に、コンテナAと周辺の障害物との位置関係を別の角度から確認することができるので、運転者Xは、一層、安全かつ効率的に操作することが可能となる。
<第3の実施形態>
 次に、第3の実施形態に係るクレーンシステムについて、図面を参照しながら説明する。
 本実施形態に係るクレーンシステムは、クレーンに備え付けられた所定のプロファイルセンサを介して、所定のプロファイル情報を運転者に提供する。
 図9は、第3の実施形態に係る情報提示装置の機能構成を示す図である。
 図9に示すように、本実施形態に係る情報提示装置20の端末装置21は、クレーン制御装置31に加え、更に、プロファイルセンサ33から、所定のプロファイル情報の入力を受け付ける態様となっている。
 プロファイルセンサ33は、計測の対象とする物にレーザーを照射し、その反射光の入射時間に応じて、自装置とレーザー反射面との距離を計測可能とする装置である。本実施形態に係るプロファイルセンサ33は、レーザーを一軸方向に走査(スキャン)することでコンテナ船50に積まれた複数のコンテナ等の二次元プロファイル(輪郭)を検出することができる。プロファイルセンサ33は、例えば、トロリー13やスプレッダー15等に備えられ、その下方の所定範囲においてトロリー13の走行方向(ブーム12の延伸方向)に沿ってレーザーを走査する。これにより、プロファイルセンサ33は、コンテナ船50上に積まれた複数のコンテナの高さ方向のプロファイル(輪郭)を検出することができる。
 本実施形態に係る操作支援情報取得部211は、第1の実施形態に係る動作情報取得部211aに加え、さらに、プロファイル情報取得部211cを備えている。プロファイル情報取得部211cは、通信接続部213を介して、プロファイルセンサ33から、操作支援情報として、当該プロファイルセンサ33が取得するプロファイル情報(吊荷及びその周辺の輪郭情報)を示すプロファイル情報の入力を逐次受け付ける。
 図10は、第3の実施形態に係る表示部に表示される画像情報を示す図である。
 図10に示すように、本実施形態に係る画像情報生成部212は、動作情報取得部211aが取得した動作情報、及び、プロファイル情報取得部211cが取得したプロファイル情報に基づいて、当該動作情報、及び、プロファイル情報を含む画像情報P3を生成する。
 具体的には、画像情報P3には、クレーン10の動作情報が表示される画像領域P31と、プロファイルセンサ33により取得されたプロファイル情報に基づいて形成される輪郭画像が表示される画像領域P32と、が含まれる。また、画像領域P32には、吊荷であるコンテナAの輪郭を示す画像Pm、及び、コンテナ船50の船上に段積みされた複数のコンテナの輪郭を現す画像Pnが表示される。
 画像情報生成部212が生成した画像情報P3は、ウェアラブル装置22の表示部222に出力される(図10参照)。
 なお、本実施形態において、クレーン10に取り付けられるプロファイルセンサ33は一つではなく、異なる複数の箇所に取り付けられていてもよい。この場合、画像情報生成部212は、当該複数のプロファイルセンサ33の相対的な位置関係を予め記憶し、当該位置関係に基づいて、異なる複数のプロファイルセンサ33から取得されるプロファイル情報を合成することで、一のプロファイル情報を生成する。このようにすることで、一つのプロファイルセンサ33では死角となって検知できない輪郭を、他のプロファイルセンサ33をもって補うことができるので、運転者Xに、より詳細なプロファイル情報を提供することができる。
 第3の実施形態に係る情報提示装置20の処理手順は、第1、第2の実施形態とほぼ同等であるため詳細な説明を省略する。この場合、本実施形態に係る操作支援情報取得部211(動作情報取得部211a及びプロファイル情報取得部211c)は、ステップS11(図6A)にて、クレーン制御装置31及びプロファイルセンサ33の各々から動作情報及びプロファイル情報の両方を取得する処理を行う。
 以上、第3の実施形態に係る情報提示装置によれば、運転者Xの視界の範囲内において、クレーン10の動作情報だけでなく、吊荷及び周辺の輪郭(プロファイル)を模した映像が提供される。したがって、運転者Xは、吊荷であるコンテナAとその周辺の状況を直接視認しつつ、更に、コンテナAと周辺の障害物との高さや位置関係を把握することができるので、運転者Xは、一層、安全かつ効率的に操作することが可能となる。
 また、本実施形態に係る情報提示装置は、プロファイルセンサ33が取得するプロファイル情報であるため、映像情報に比べて情報量が少なくて済み、情報の更新を高速に行うことができ、また、装置の構成を簡素化することができる。
 なお、本実施形態において、プロファイルセンサ33が取得するプロファイル情報は、二次元のプロファイル情報(図10参照)として説明したが、他の実施形態においてはこの態様に限定されない。例えば、プロファイルセンサ33は、二軸方向に走査可能であって、三次元のプロファイル情報を取得可能とされていてもよい。
 また、他の実施形態に係る情報提示装置20(操作支援情報取得部211)は、第2の実施形態に係る映像情報取得部211bと、第3の実施形態に係るプロファイル情報取得部211cと、の両方を備える態様であってもよい。この場合、当該他の実施形態に係る画像情報生成部212は、映像情報取得部211bが取得した対象物映像情報と、プロファイル情報取得部211cが取得したプロファイル情報と、の両方を含む画像情報を生成してもよい。具体的には、画像情報生成部212は、対象物映像情報(撮影装置32が撮影する映像)が表示される画像領域P22(図8)、及び、プロファイル情報に基づいて形成される輪郭画像が表示される画像領域P32(図10)の両方を有する画像情報を生成する。
 なお、上述の第1~第3の実施形態に係る情報提示装置20は、いずれも表示部が、運転者Xが頭部に装着するウェアラブル装置に取り付けられている。このような構成とすることで、運転者Xがウェアラブル装置を装着するのみで実現可能なので、情報提示装置20の敷設負担を軽減できる。
<第4の実施形態>
 次に、第4の実施形態に係るクレーンシステムについて、図面を参照しながら説明する。
 本実施形態に係るクレーンシステムにおいては、運転席に位置する運転者Xの下方に配される操作用窓に透明表示装置が適用される。
 図11は、第4の実施形態に係る情報提示装置の機能構成を示す図である。
 図11に示すように、本実施形態に係る情報提示装置20は、端末装置21と、透明表示装置25と、を備えている。端末装置21の機能構成は、第1の実施形態と同等であるため、詳細な説明を省略する。
 透明表示装置25は、無線通信モジュール251と、透明表示部252と、を備えている。
 透明表示装置25は、表示画面上に画像情報を表示しつつ、当該表示画面の後ろの背景が透けて見える特徴を有する表示装置である。具体的には、透明表示装置25は、透明表示部252を備えている。透明表示部252は、表示部の一態様であって、運転室14の下方に設けられた操作用窓143(図2参照)の一部または全部を覆うように設置されている。この透明表示部252は、運転者Xに対し所定の画像情報を表示することができるとともに、その背景が透けて視認可能とされている。これにより、運転者Xは、透明表示部252(及び操作用窓143)を通じて、その先に位置するスプレッダー15や吊荷(コンテナA)等を直接視認することができる。
 無線通信モジュール251は、上述した無線通信モジュール221と同等のもので、端末装置21の無線通信モジュール214と情報を無線でやり取りするための通信インターフェイスである。透明表示装置25は、無線通信モジュール214を介して、画像情報生成部212が生成した画像情報を取得する。
 なお、端末装置21と透明表示装置25との間の情報のやり取りは、無線通信に限定されず、有線通信によって成される態様であってもよい。
 図12は、第4の実施形態に係る透明表示部を通じて運転者が視認する光景の例を説明する図である。
 図12は、本実施形態に係る運転者Xが運転席141からその下方の操作用窓143を通じて視認できる光景の一例を示している。ここで、上述したように、本実施形態に係る透明表示部252は、操作用窓143の全面に設置される。また、透明表示部252は、無線通信モジュール251を介して取得した操作支援情報(本実施形態においては、クレーン10の動作情報)を含む画像情報P4を表示する。図12に示すように、画像情報P4は、透明表示部252の隅に映し出される。
 また、透明表示部252はその背景が透けて見えるので、当該画像情報P4が表示される領域以外の領域においては、運転者Xは、透明表示部252及び操作用窓143を通じて、その下方に位置するスプレッダー15や吊下げられたコンテナA、及び、その周辺に段積みされたコンテナ等を直接視認することができる(図12参照)。
 このように、第4の実施形態に係る情報提示装置によれば、運転者Xが操作のために下方を向いた場合にその視界に入る位置に配された表示部(透明表示部252)に、操作を支援するための操作支援情報(動作情報)が表示される。また、透明表示部252はその背景が透けて見えるため、運転者Xは、吊荷であるコンテナAとその周辺の状況を直接視認しながら、同時に、操作支援情報をも視認することができる。よって、クレーン10の操作の経験が浅くとも、安全かつ効率的に操作することができる。
 また、第1~第3の実施形態においては、画像情報は、運転者Xが頭部に装着するウェアラブル装置22に表示される態様であったが、本実施形態においては、操作用窓143に設置された透明表示部252に表示されるものとしている。これにより、ウェアラブル装置22等の機器を装着する必要がないため、運転者Xの作業負担を軽減することができる。
 なお、第4の実施形態において、透明表示部252は、操作用窓143の隅に、操作支援情報として、クレーン制御装置31から取得される動作情報を表示するもの(図12)として説明したが、他の実施形態においてはこの態様に限定されない。すなわち、透明表示部252は、第2の実施形態、第3の実施形態と同様に、操作支援情報として、撮影装置32やプロファイルセンサ33を介して取得した対象物映像情報やプロファイル情報等を含む画像情報を表示してもよい。
<第5の実施形態>
 次に、第5の実施形態に係るクレーンシステムについて、図面を参照しながら説明する。
 本実施形態に係るクレーンシステムにおいては、運転席に位置する運転者Xの下方に配される操作用窓に透明表示装置が適用されるとともに、予め吊荷の対象とするコンテナ別に規定された属性情報を透明表示装置に表示して、運転者の操作支援を行う。
 図13は、第5の実施形態に係る情報提示装置の機能構成を示す図である。
 図13に示すように、本実施形態に係る情報提示装置20は、端末装置21と、透明表示装置25と、を備えている。端末装置21は、クレーン制御装置31に加え、更に、地上端末装置34から、コンテナ別の属性情報の入力を受け付ける。
 地上端末装置34は、コンテナヤードの作業室等に設置された端末装置である。地上端末装置34には、コンテナ船50に積み込まれた複数のコンテナを識別するためのコンテナIDと、各コンテナがコンテナ船50の何処に積まれているかを示す座標情報と、等を対応付けたコンテナ属性テーブル(属性情報)が記憶されている。
 本実施形態に係る操作支援情報取得部211は、第1の実施形態に係る動作情報取得部211aに加え、さらに、属性情報取得部211dを備えている。属性情報取得部211dは、通信接続部213を介して、地上端末装置34から、操作支援情報として、当該地上端末装置34に記憶されている属性情報の入力を受け付ける。また、本実施形態に係る属性情報取得部211dは、更に、停泊するコンテナ船50の構造及び積み込まれたコンテナを模した三次元モデルデータを取得する。
 図14は、第5の実施形態に係る地上端末装置が記憶するコンテナ属性テーブルの例を示す図である。
 コンテナ属性テーブルは、属性情報の一態様であって、コンテナの別を識別するためのコンテナID、積み込まれたコンテナ船を識別するコンテナ船ID、当該コンテナ船の何処に見込まれているかを特定するための積み込み位置座標(X、Y、Z)、及び、積み卸しを行うコンテナの順番を示す作業手順、コンテナヤードに配置する位置座標(X、Y、Z)の各々を対応付けるテーブルである。コンテナ属性テーブルは、予め、流通管理者等によって作成され、コンテナヤードに設置される地上端末装置34に保存される。
 なお、図14に示したコンテナ属性テーブルは一例であって、これに限られず、他の情報が含まれるものであってもよい。
 図15は、第5の実施形態に係る透明表示部を通じて運転者が視認する光景の例を説明する図である。
 図15は、本実施形態に係る運転者Xが運転席141からその下方の操作用窓143を通じて視認できる光景の一例を示している。第4の実施形態と同様に、本実施形態に係る透明表示部252は、操作用窓143の全面に設置される。また、透明表示部252は、背景が透けて見えるので、運転者Xは、透明表示部252及び操作用窓143を通じて、その下方に位置するスプレッダー15や吊下げられたコンテナA、及び、その周辺に段積みされたコンテナ等を直接視認することができる(図15参照)。
 透明表示部252は、無線通信モジュール251を介して取得した操作支援情報(本実施形態においては、クレーン10の動作情報及び属性情報)を含む画像情報P51~P53を表示する。ここで、画像情報P51は、クレーン10の動作情報である。
 本実施形態に係る画像情報生成部212は、属性情報取得部211dが取得した属性情報(コンテナ属性テーブル)に基づいて、運転者Xの作業手順を示す手順リスト画像情報P52を生成する。具体的には、画像情報生成部212は、コンテナ属性テーブルの作業手順に示される順に、コンテナID及び当該コンテナIDに対応付けられたヤード位置座標をリスト化する(図15参照)。この画像情報P52が透明表示部252に表示されることで、運転者Xは、コンテナ船50に段積みされているコンテナの運搬手順及びコンテナヤードにおける配置位置を把握することができる。
 さらに、本実施形態に係る画像情報生成部212は、属性情報取得部211dが取得した属性情報(コンテナ属性テーブル)の積み込み位置座標と、コンテナID、並びに、コンテナ船IDに適合する三次元モデルデータを参照して、属性情報(コンテナID)の各々が、操作用窓143から直接視認される各コンテナの各々と対応付けられた画像情報P53を生成する。
 具体的には、画像情報生成部212は、クレーン10の動作情報(横行座標、巻上座標等)とコンテナ船50の停泊位置との関係に基づいて、運転者Xが位置する運転席141から操作用窓143を通じて視認されるコンテナ船50の光景と、予め作成されたコンテナ船50の三次元モデルデータと、を整合させる処理を行う。そして、画像情報生成部212は、コンテナ船50の三次元モデルデータと、当該コンテナ船50に積み込まれた各コンテナのコンテナID及び積み込み位置座標(X、Y、Z)と、を参照し、実際の光景と整合された三次元モデルデータ中の各コンテナに対応する位置に、各々のコンテナのコンテナIDが付されるように画像情報P53を生成する。これにより、運転者Xから直接視認されるコンテナの各々に対応するようにコンテナIDを示す画像情報P53が表示されるので、運転者は、コンテナ船50上に段積みされた複数のコンテナを正確に識別することができる。
 このように、第5の実施形態に係る情報提示装置によれば、運転者Xが荷役を行うコンテナの順序を示した手順リストが透明表示部252に表示される。また、運転者Xが、透明表示部252(操作用窓143)を通じて実際に視認するコンテナの各々に対応するようにコンテナIDが付される。これにより、運転者Xは、次に運ぶべきコンテナを一見して把握可能となり、正確かつ迅速に判別することができるので、一層効率的に荷役作業を行うことができる。
 なお、第5の実施形態の変形例として、画像情報生成部212は、例えば、吊下げているコンテナA及びその周辺の高さが一見して把握可能となるように、透明表示部252を通じて、直接視認されるコンテナ等に、その高さに応じた色分布(赤、青、黄等のカラーグラデーション)が付されるようにしてもよい。また、吊下げ中のコンテナAが近接している周囲の箇所に色などを付すようにしてもよい。
 なお、上述の各実施形態に係るクレーンは、岸壁に設置されるコンテナクレーンであるものとして説明したが、他の実施形態においては、この態様に限定されない。即ち、情報提示装置が搭載されるクレーンは、運転者がその下方に位置する吊荷(コンテナA)や対象物(コンテナ船50に積まれた複数のコンテナ)を直接視認しながら作業を行う態様の物であれば、他の如何なるクレーンであってもよい。
 以上、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものとする。
 上述の情報提示装置及びクレーンシステムによれば、経験の浅い運転者であってもクレーンの操作を安全に実施することができる。
1 クレーンシステム
10 クレーン
11 脚構造部
11a 横行機構
12 ブーム
13 トロリー
14 運転室
141 運転席
142 操作パネル
143 操作用窓
15 スプレッダー(吊下手段)
20 情報提示装置
21 端末装置
210 CPU
211 操作支援情報取得部
211a 動作情報取得部
211b 映像情報取得部
211c プロファイル情報取得部
211d 属性情報取得部
212 画像情報生成部
213 通信接続部
214、221、251 無線通信モジュール
22 ウェアラブル装置
222 表示部
223 姿勢検知部
25 透明表示装置
252 透明表示部
31 クレーン制御装置
32 撮影装置
32a 駆動機構
33 プロファイルセンサ
34 地上端末装置
50 コンテナ船

Claims (10)

  1.  吊荷となる対象物の上方で延伸して配されるブームと、当該ブームに沿って移動可能なトロリーと、当該トロリーに設置され、前記対象物を吊り下げて昇降可能な吊下手段と、前記対象物の上方に設置され、運転席に位置する運転者がその下方に吊り下げられた前記対象物を視認可能なように設けられた操作用窓を有する運転室と、を備えたクレーンにおける情報提示装置であって、
     前記運転者が前記操作用窓を見た際に、その視界に所定の画像情報を表示可能な表示部と、
     前記運転者による吊荷作業の操作を支援するための操作支援情報を取得する操作支援情報取得部と、
     少なくとも前記取得した操作支援情報を含む画像情報を生成し、前記表示部に出力する画像情報生成部と、
     を備える情報提示装置。
  2.  前記操作支援情報取得部は、前記クレーンの動作情報を取得する動作情報取得部を有し、
     前記画像情報生成部は、前記操作支援情報として前記動作情報を含む画像情報を生成する
     請求項1に記載の情報提示装置。
  3.  前記操作支援情報取得部は、前記吊下手段の下方に位置する範囲を撮影する撮影装置を介して対象物映像情報を取得する映像情報取得部を有し、
     前記画像情報生成部は、前記操作支援情報として前記対象物映像情報を含む画像情報を生成する
     請求項1または請求項2に記載の情報提示装置。
  4.  前記操作支援情報取得部は、前記吊下手段の下方に位置する前記対象物の輪郭を示すプロファイル情報を取得するプロファイル情報取得部を有し、
     前記画像情報生成部は、前記操作支援情報として前記プロファイル情報を含む画像情報を生成する
     請求項1から請求項3のいずれか一項に記載の情報提示装置。
  5.  前記操作支援情報取得部は、予め規定された前記対象物ごとの属性情報を取得する属性情報取得部を有し、
     前記画像情報生成部は、前記操作支援情報として前記属性情報を含む画像情報を生成する
     請求項1から請求項4のいずれか一項に記載の情報提示装置。
  6.  前記画像情報生成部は、前記属性情報の各々が、前記操作用窓から直接視認される前記対象物の各々と対応付けられるように画像情報を生成する
     請求項5に記載の情報提示装置。
  7.  前記表示部は、前記運転者が頭部に装着するウェアラブル装置に取り付けられている
     請求項1から請求項6の何れか一項に記載の情報提示装置。
  8.  前記ウェアラブル装置は、更に、運転者の姿勢情報を検知する姿勢検知部を備え、
     前記表示部は、前記姿勢情報に基づいて、前記運転者が下方を視認している場合に前記画像情報を表示する
     請求項7に記載の情報提示装置。
  9.  請求項1から請求項8の何れか一項に記載の情報提示装置と、
     吊荷となる対象物の上方で延伸して配されるブームと、当該ブームに沿って移動可能なトロリーと、当該トロリーに設置され、前記対象物を吊り下げて昇降可能な吊下手段と、前記対象物の上方に設置され、運転席に位置する運転者がその下方に吊り下げられた前記対象物を視認可能なように設けられた操作用窓を有する運転室と、を具備するクレーンと、
     を備えるクレーンシステム。
  10.  吊荷となる対象物の上方で延伸して配されるブームと、当該ブームに沿って移動可能なトロリーと、当該トロリーに設置され、前記対象物を吊り下げて昇降可能な吊下手段と、前記対象物の上方に設置され、運転席に位置する運転者がその下方に吊り下げられた前記対象物を視認可能なように設けられた操作用窓を有する運転室と、を備えたクレーンの運転時に用いる情報提示方法であって、
     前記運転者による吊荷作業の操作を支援するための操作支援情報を取得し、
     少なくとも前記取得した操作支援情報を含む画像情報を生成し、前記運転者が前記操作用窓を見た際に、その視界に所定の画像情報を表示可能な表示部に出力する情報提示方法。
PCT/JP2014/059134 2014-03-28 2014-03-28 情報提示装置、クレーンシステム及び情報提示方法 WO2015145725A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015526428A JP6017691B2 (ja) 2014-03-28 2014-03-28 情報提示装置、クレーンシステム及び情報提示方法
CN201480003357.3A CN105189327B (zh) 2014-03-28 2014-03-28 信息提示装置、起重机系统及信息提示方法
PCT/JP2014/059134 WO2015145725A1 (ja) 2014-03-28 2014-03-28 情報提示装置、クレーンシステム及び情報提示方法
HK16107114.8A HK1219087A1 (zh) 2014-03-28 2016-06-21 信息提示裝置、起重機系統及信息提示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/059134 WO2015145725A1 (ja) 2014-03-28 2014-03-28 情報提示装置、クレーンシステム及び情報提示方法

Publications (1)

Publication Number Publication Date
WO2015145725A1 true WO2015145725A1 (ja) 2015-10-01

Family

ID=54194314

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/059134 WO2015145725A1 (ja) 2014-03-28 2014-03-28 情報提示装置、クレーンシステム及び情報提示方法

Country Status (4)

Country Link
JP (1) JP6017691B2 (ja)
CN (1) CN105189327B (ja)
HK (1) HK1219087A1 (ja)
WO (1) WO2015145725A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017063014A1 (de) * 2015-10-16 2017-04-20 Palfinger Ag Anordnung aus einer steuerung und einem mobilen steuerungsmodul
JP2017103767A (ja) * 2015-11-25 2017-06-08 株式会社リコー 視認システム
EP3321226A1 (en) * 2016-11-11 2018-05-16 ABB Schweiz AG Container crane control system comprising multiple cameras
WO2018190345A1 (ja) * 2017-04-11 2018-10-18 川崎重工業株式会社 ロボットシステム及びその運転方法
WO2019017458A1 (ja) * 2017-07-21 2019-01-24 株式会社タダノ ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
WO2019017455A1 (ja) * 2017-07-21 2019-01-24 株式会社タダノ ガイド情報表示装置およびクレーン
JP2019172410A (ja) * 2018-03-27 2019-10-10 株式会社タダノ クレーン
EP3656722A4 (en) * 2017-07-21 2021-04-28 Tadano Ltd. GUIDANCE INFORMATION DISPLAY DEVICE, CONTAINING CRANE, AND GUIDANCE INFORMATION DISPLAY METHOD
JP2021104901A (ja) * 2017-02-28 2021-07-26 ジェイ. レイ マクダーモット, エス.エー. 目標追跡支援を用いた、沖合での船から船への吊り上げ
JP2021183536A (ja) * 2020-05-22 2021-12-02 一般社団法人港湾荷役機械システム協会 コンテナクレーンの運転支援装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555913B (zh) * 2019-08-27 2023-04-14 正知(上海)智能技术有限公司 一种基于工业人机界面的虚拟成像方法及装置
CN115072566A (zh) * 2022-06-10 2022-09-20 三一海洋重工有限公司 集装箱起重机及其控制方法、装置和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01299191A (ja) * 1988-05-25 1989-12-01 Hitachi Ltd クレーンの運転室
JPH07137982A (ja) * 1993-11-15 1995-05-30 Ohbayashi Corp クレーンのテレビモニター装置
JPH09200650A (ja) * 1996-01-17 1997-07-31 Nippon Steel Corp 映像表示方法及びその装置
JP2003146579A (ja) * 2001-11-16 2003-05-21 Mitsubishi Heavy Ind Ltd クレーン制御装置及び制御方法
JP2005029284A (ja) * 2003-07-07 2005-02-03 Mitsubishi Electric Corp 無線通信装置
JP2010089934A (ja) * 2008-10-09 2010-04-22 Mitsui Eng & Shipbuild Co Ltd コンテナクレーン
JP2013061848A (ja) * 2011-09-14 2013-04-04 Panasonic Corp 非接触入力装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3398999B2 (ja) * 1993-02-10 2003-04-21 株式会社デンソー 多重映像表示装置
JPH0781887A (ja) * 1993-09-10 1995-03-28 Komatsu Mec Corp クレーンの安全表示装置
JP3052286B2 (ja) * 1997-08-28 2000-06-12 防衛庁技術研究本部長 飛行システムおよび航空機用擬似視界形成装置
JP2008265934A (ja) * 2007-04-18 2008-11-06 Tadano Ltd 作業機稼動情報表示システム
CN101046926A (zh) * 2007-04-28 2007-10-03 武汉科技大学 一种起重机虚拟操纵系统
JP5876679B2 (ja) * 2011-07-08 2016-03-02 株式会社タダノ 性能線表示装置
CN102923578A (zh) * 2012-11-13 2013-02-13 扬州华泰特种设备有限公司 集装箱起重机高效装卸作业自动控制系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01299191A (ja) * 1988-05-25 1989-12-01 Hitachi Ltd クレーンの運転室
JPH07137982A (ja) * 1993-11-15 1995-05-30 Ohbayashi Corp クレーンのテレビモニター装置
JPH09200650A (ja) * 1996-01-17 1997-07-31 Nippon Steel Corp 映像表示方法及びその装置
JP2003146579A (ja) * 2001-11-16 2003-05-21 Mitsubishi Heavy Ind Ltd クレーン制御装置及び制御方法
JP2005029284A (ja) * 2003-07-07 2005-02-03 Mitsubishi Electric Corp 無線通信装置
JP2010089934A (ja) * 2008-10-09 2010-04-22 Mitsui Eng & Shipbuild Co Ltd コンテナクレーン
JP2013061848A (ja) * 2011-09-14 2013-04-04 Panasonic Corp 非接触入力装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3362399B1 (de) 2015-10-16 2019-08-21 Palfinger AG Anordnung aus einer steuerung und einem mobilen steuerungsmodul
DE202016008565U1 (de) 2015-10-16 2018-06-26 Palfinger Ag Anordnung aus einer Steuerung und einem mobilen Steuerungsmodul
WO2017063014A1 (de) * 2015-10-16 2017-04-20 Palfinger Ag Anordnung aus einer steuerung und einem mobilen steuerungsmodul
US10961087B2 (en) 2015-10-16 2021-03-30 Palfinger Ag Arrangement of a controller and a mobile control module
JP2017103767A (ja) * 2015-11-25 2017-06-08 株式会社リコー 視認システム
EP3321226A1 (en) * 2016-11-11 2018-05-16 ABB Schweiz AG Container crane control system comprising multiple cameras
WO2018086929A1 (en) * 2016-11-11 2018-05-17 Abb Schweiz Ag Container crane control system comprising multiple cameras
JP7498130B2 (ja) 2017-02-28 2024-06-11 ジェイ. レイ マクダーモット, エス.エー. 目標追跡支援を用いた、沖合での船から船への吊り上げ
JP2021104901A (ja) * 2017-02-28 2021-07-26 ジェイ. レイ マクダーモット, エス.エー. 目標追跡支援を用いた、沖合での船から船への吊り上げ
WO2018190345A1 (ja) * 2017-04-11 2018-10-18 川崎重工業株式会社 ロボットシステム及びその運転方法
JP2018176342A (ja) * 2017-04-11 2018-11-15 川崎重工業株式会社 ロボットシステム及びその運転方法
JP2019024151A (ja) * 2017-07-21 2019-02-14 株式会社タダノ ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
JP2019024150A (ja) * 2017-07-21 2019-02-14 株式会社タダノ ガイド情報表示装置およびクレーン
WO2019017455A1 (ja) * 2017-07-21 2019-01-24 株式会社タダノ ガイド情報表示装置およびクレーン
EP3656722A4 (en) * 2017-07-21 2021-04-28 Tadano Ltd. GUIDANCE INFORMATION DISPLAY DEVICE, CONTAINING CRANE, AND GUIDANCE INFORMATION DISPLAY METHOD
WO2019017458A1 (ja) * 2017-07-21 2019-01-24 株式会社タダノ ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
JP2019172410A (ja) * 2018-03-27 2019-10-10 株式会社タダノ クレーン
JP7006442B2 (ja) 2018-03-27 2022-01-24 株式会社タダノ クレーン
JP2021183536A (ja) * 2020-05-22 2021-12-02 一般社団法人港湾荷役機械システム協会 コンテナクレーンの運転支援装置
JP7212004B2 (ja) 2020-05-22 2023-01-24 一般社団法人港湾荷役システム協会 コンテナクレーンの運転支援装置

Also Published As

Publication number Publication date
CN105189327B (zh) 2017-03-15
JP6017691B2 (ja) 2016-11-02
CN105189327A (zh) 2015-12-23
JPWO2015145725A1 (ja) 2017-04-13
HK1219087A1 (zh) 2017-03-24

Similar Documents

Publication Publication Date Title
JP6017691B2 (ja) 情報提示装置、クレーンシステム及び情報提示方法
US11679961B2 (en) Method and apparatus for controlling a crane, an excavator, a crawler-type vehicle or a similar construction machine
EP3235773B1 (en) Surrounding information-obtaining device for working vehicle
JP5488882B2 (ja) 固定映像表示システム
JP6801421B2 (ja) クレーン
EP3656722B1 (en) Guide information display device, crane equipped with same, and guide information display method
JP2019024151A (ja) ガイド情報表示装置およびこれを備えたクレーンおよびガイド情報表示方法
KR20190078984A (ko) 인양물의 크레인 충돌방지를 위한 감시 시스템
JP6481178B2 (ja) クレーンの遠隔運転方法及びクレーンの遠隔運転装置
JP2014151979A (ja) 作業車用の地図作成装置
JP2011063358A (ja) 吊荷下方の監視システム及び監視方法
JP6257947B2 (ja) 作業車の周囲情報取得装置
JP5595822B2 (ja) 画像生成システム
JP5575571B2 (ja) 画像生成システム
JP6805780B2 (ja) クレーン
JP2024174952A (ja) クレーンの作業管理システム、及び管理装置
KR101258851B1 (ko) 크레인 제어 장치 및 방법
JP6309481B2 (ja) クレーンの運転支援方法及びクレーンの運転支援装置
KR102536448B1 (ko) 지게차의 전방 충돌 위험 감지 모니터링 장치
JP7345335B2 (ja) クレーンの運転支援システム及びクレーンの運転支援方法
JP2019218198A (ja) 操作支援システム
JP5575572B2 (ja) 画像生成システム
JP7212004B2 (ja) コンテナクレーンの運転支援装置
JP2023121468A (ja) クレーンの操縦支援システム及び操縦支援システムを有するクレーン
JP2021004119A (ja) 吊りロープ振れ判定方法、データ処理装置、クレーン

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480003357.3

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2015526428

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14887320

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14887320

Country of ref document: EP

Kind code of ref document: A1